Архивирането на интернет стана значително по-трудно и скъпо, поради недостиг на твърди дискове. Огромните и ключови уеб ресурси като Интернет архив и Уикипедия са изправени пред сериозни проблеми.
Бързият растеж на пазара на изкуствен интелект предизвика нов страничен ефект – криза със съхранението на данни, която вече се отразява на проектите за архивиране в интернет.
Поради недостиг на NAND памет и твърди дискове, цената на големите твърди дискове с висок капацитет се е утроила, отбелязва 404 Media.
Интернет архивът (Internet Archive), чиято мисия е да запази достъпа до знания и уеб съдържание, е изправен пред най-предизвикателната ситуация. Организацията вече съхранява приблизително 210 петабайта данни и добавя приблизително 100 терабайта дневно, но това става все по-скъпо и отнема време.
Основателят на проекта Брюстър Кийл призна, че намирането на подходящи 28-30 TB дискове се е превърнало в сериозно предизвикателство: те или са недостъпни, или са значително по-скъпи.
Фондация Уикимедия, която поддържа Уикипедия, е в подобна ситуация. Оттам отбелязват, че увеличението на цените е засегнало не само самите устройства за съхранение, но и консумативите за сървъри и възможността за планиране на бъдещи покупки на оборудване.
Допълнителен проблем е, че уебсайтовете все по-често блокират ботове, които архивират страници. Собствениците на уебсайтове са предпазливи към автоматизираното събиране на данни от интернет за обучение на AI модели и въвеждат ограничения и за обикновените ботове, използвани за запазване на дигитална история.
В резултат на всичко това уеб проектите са изправени не само пред значително увеличение на цените на хардуера, но и пред трудности при достъпа до самите сайтове.
