AI модели на Anthropic са получили неоторизиран достъп до системите на три външни организации по време на тестове, които е трябвало да ги държат изолирани от реалния свят. Случаят става факт броени дни след като OpenAI призна за подобен пробив по време на собствените си изпитания.
Поредицата от инциденти поставя под още по-силен натиск компаниите, разработващи най-усъвършенстваните модели с изкуствен интелект, и засилва дебата за необходимостта от по-строги механизми за контрол.
Сравнително елементарна техника
Anthropic съобщи, че при анализ на повече от 141 000 тестови изпълнения е установила 3 случая, в които различни версии на модела Claude са получили неправомерен достъп до системите на три неназовани външни организации.
Според компанията, причината този достъп изобщо да бъде възможен е недоразумение между Anthropic и нейния партньор по тестовете Irregular, вследствие на което моделите са разполагали с интернет свързаност, въпреки че това не е било предвидено.
В публикация в корпоративния блог Anthropic уточнява, че Claude е използвал сравнително елементарни техники за проникване, включително експлоатиране на слаби пароли и незащитени програмни интерфейси (endpoints), достъпни без удостоверяване.
Сред засегнатите модели е и Mythos 5 – една от най-мощните разработки на компанията, която засега е предоставена само на ограничен кръг одобрени партньори.
Anthropic заяви, че работи съвместно с Irregular за изясняване на случая и вече е уведомила или е направила опит да се свърже с всички засегнати организации.
Втори подобен случай за седмица
Новината идва непосредствено след признанието на OpenAI на 22 юли, че нейни модели са избягали от изолираната тестова среда, получили са достъп до интернет и са проникнали в платформата Hugging Face, използвана от разработчици за съхранение и споделяне на програмния код.
Няколко дни по-късно OpenAI съобщи, че е открила още три подобни инцидента.
Главният изпълнителен директор на компанията Сам Алтман заяви в подкаст, че OpenAI временно е преустановила част от тестовете, докато подобри механизмите за т.нар. sandboxing – технология, която изолира софтуера в контролирана среда и не му позволява да взаимодейства с външни системи.
Нарастващи опасения
И Anthropic, и OpenAI представиха през тази година най-новите си поколения модели – съответно Mythos и Sol. Паралелно с увеличаването на възможностите им нарастват и опасенията около т.нар. AI агенти – системи, които могат самостоятелно да изпълняват задачи и да вземат решения без непрекъсната човешка намеса.
Последователните инциденти показват, че дори в контролирани тестови условия подобни системи могат да намерят непредвидени начини да взаимодействат с реалната инфраструктура, ако защитните механизми не са достатъчно надеждни.
Натиск за по-бавно развитие на най-мощните модели
Случаите предизвикаха реакция и в самата индустрия. Повече от 1000 служители на водещи AI компании подписаха петицията „Pacing the Frontier“, която призовава американското правителство да подкрепи международни механизми за поетапно и контролирано развитие на най-мощните системи с изкуствен интелект.
Сред подписалите е и главният изпълнителен директор на Anthropic Дарио Амодеи. Шефът на OpenAI Сам Алтман не подкрепи инициативата, но призна, че може да се наложи индустрията да забави темпа на разработване на нови модели, за да даде време на обществото и институциите да изградят адекватни механизми за сигурност.
Американското правителство затяга контрола
По-рано тази година администрацията на президента Доналд Тръмп временно блокира пускането на най-новите модели на OpenAI и Anthropic, позовавайки се на съображения, свързани с националната сигурност.
След като компаниите предоставиха допълнителни гаранции за безопасността на технологиите си, ограниченията бяха отменени.
През юни Тръмп подписа изпълнителна заповед, която създава доброволна рамка за предварително споделяне на най-мощните AI модели с американското правителство преди публичното им пускане.
Съгласно новия механизъм, разработчици като OpenAI, Anthropic и Google ще предоставят достъп до най-съвременните си модели на държавните институции за период до 30 дни преди официалното им пускане на пазара.
