Скрапингът на текст и изображения от уеб ресурсите се превърна в обичайна практика за обучение на AI моделите (снимка: CC0 Public Domain)
Популярната облачна услуга Cloudflare разработи нов инструмент за одит на изкуствения интелект, който ще позволи на собствениците на сайтове да наблюдават как съдържанието им се използва от AI ботове и да предприемат действие: или да блокират достъпа до информацията, или да определят цена за използването ѝ.
По-рано Cloudflare представи инструмент, който просто предотвратяваше събирането на текстове и изображения за обучение на AI, или т.нар. скрапинг. Сега компанията разширява функционалността с пускане на AI Audit – инструмент, който дава възможност на собствениците на сайтове да анализират действията на AI ботовете и да си осигурят приходи от съдържанието.
Скрапингът на текст и изображения се превърна в обичайна практика на AI разработчиците, тъй като интернет предоставя изобилие от съдържание, което може да се използва за обучение на модели. Това обаче е противоречива практика, тъй като подобни действия са несправедливи, според повечето издатели, особено когато не знаят, че техните материали се използват – по същество незаконно.
Въпреки това, водещи AI компании като OpenAI, Google, Meta, Stability AI, IBM и Microsoft открито признават, че използват съдържание от издатели, цитирайки доктрината за честна употреба. Критиците обаче твърдят, че скрапингът ще се отрази негативно на издателите чрез загуба на трафик и потенциални печалби.
Например, сайт за рецепти може да загуби значителна част от аудиторията си, заради чатботове, които използват съдържанието му, за да отговарят на потребителски запитвания. Ако потребителят получава информация от изкуствения интелект, тогава той едва ли ще има стимул да посети самия сайт, дори и да е посочен като източник.
Някои издатели вече са започнали да блокират достъпа на AI ботовете до техните ресурси. Например, миналия месец Ню Йорк Таймс и CNN официално блокираха GPTBot на OpenAI. В същото време други сайтове, като Reddit, предлагат достъп до тяхното съдържание срещу заплащане чрез специални API (приложни програмни интерфейси), които AI компаниите могат да ползват.
Cloudflare се ангажира да даде възможност на всички собственици на уебсайтове да контролират как се използва тяхното съдържание. Инструментът AI Audit, който включва функция за блокиране на достъпа до всякакви AI ботове и анализи, е създаден да гарантира прозрачност при взаимодействието между създателите на съдържание и разработчиците на AI.
Инструментът ще помогне на издателите да определят кога, колко често и защо AI моделите имат достъп до страниците на сайта, както и да откриват ботове, които посочват източника на данните, и тези, които не го правят.
Освен това AI Audit ще помогне на собствениците на сайтове да определят справедлива цена за достъп до съдържанието въз основа на пазарни цени, определени от големи издатели като Reddit. Това е необходимо, тъй като малките сайтове нямат ресурси или експертен опит, за да определят цена на съдържанието си и да преговарят с компании за изкуствен интелект. В същото време самите компании също нямат възможност да сключват отделни споразумения с всеки един от милионите сайтове.
„Ако създателите на съдържание нямат този контрол, качеството на онлайн информацията ще се влоши или тя ще стане достъпна само чрез платени абонаменти”, казва съоснователят и главен изпълнителен директор на Cloudflare Матю Принс.
„С мащаба и глобалната инфраструктура на Cloudflare можем да предоставим инструментите и да зададем стандарти, които дават на уебсайтовете, издателите и създателите на съдържание контрол и справедливо възнаграждение за техния принос към интернет, като същевременно позволяват на доставчиците на AI модели да продължат да правят иновации”, допълва той.