Дали автономният AI агент наистина „избяга“, за да хакне Hugging Face

Инцидентът с Hugging Face не е случай на изкуствен интелект, който самоволно е „излязъл от контрол“, а резултат от вътрешен експеримент на OpenAI за оценка на офанзивните кибервъзможности на AI модели с умишлено отслабени ограничителни механизми. Независимо от това, случилото се показва, че автономните AI агенти вече могат да провеждат сложни многоетапни кибератаки и поставя нови въпроси за сигурността, управлението и контрола върху подобни системи.

През последните дни множество публикации представиха пробива в платформата Hugging Face като първия случай, в който изкуствен интелект е „избягал от пясъчника“, атакувал е реална компания и е действал извън човешки контрол. Подобно описание обаче е подвеждащо. Реалната история е значително по-сложна и – според експерти – още по-притеснителна.

Какво всъщност се случи

На 16 юли Hugging Face съобщи, че е станала жертва на необичайна кибератака – първата, която е била извършена изцяло от автономна система с AI агенти. Според компанията, злонамерен набор от данни е използвал две различни възможности за изпълнение на код в системата за обработка на набори от данни, което е позволило стартиране на произволен код върху сървър за обработка.

Оттам атаката е ескалирала до достъп на ниво възел, извлечени са облачни идентификационни данни и ключове за клъстери, след което е последвало странично придвижване към няколко вътрешни инфраструктури.

Hugging Face твърди, че цялата операция е била координирана от автономна агентна рамка, която е извършила хиляди отделни действия чрез множество краткотрайни sandbox среди. Командната инфраструктура се е премествала динамично между публични облачни услуги, което допълнително е затруднило откриването ѝ.

Пет дни по-късно OpenAI призна, че именно нейни модели стоят зад случилото се. Компанията обясни, че инцидентът е възникнал по време на вътрешна оценка на напредналите киберспособности на AI моделите, при която част от стандартните защитни ограничения са били временно премахнати, за да се провери доколко успешно системите могат самостоятелно да откриват и експлоатират уязвимости.

След като получили достъп до интернет, моделите успели сами да идентифицират инфраструктурата на Hugging Face, да използват компрометирани идентификационни данни и непознати дотогава уязвимости (zero-day), за да достигнат до дистанционно изпълнение на код върху сървърите на компанията.

Не става дума за „осъзнал се“ AI

Най-важният извод е, че това не е пример за изкуствен интелект, който внезапно е придобил съзнание или е решил сам да атакува хората.

По-скоро става дума за експеримент, при който изключително способни AI модели са получили значително по-голяма свобода на действие от обичайното. Именно тази комбинация между високи способности и отслабени предпазни механизми е позволила на агентите да извършат сложна, многоетапна кибероперация.

В публикацията си Hugging Face определя случая като първата реална демонстрация на сценария за „агентен нападател”, който специалистите по киберсигурност обсъждат от години. Според компанията автономните офанзивни AI инструменти вече не са теоретична концепция, а реалност.

Основното им предимство е, че могат да изпълняват продължителни кампании с огромен брой последователни действия при минимални разходи и със скорост, недостижима за човек.

Данните и моделите вече са нова повърхност за атаки

Според Hugging Face, организациите трябва да започнат да разглеждат не само своите приложения, но и данните, моделите и AI инфраструктурата като пълноценна повърхност за атака.

Брайън Хонан, изпълнителен директор на BH Consulting, отбелязва, че всяка система, която приема съдържание от външни потребители и изпълнява код при обработката му, създава зона с повишен риск.

Ключовият въпрос не е дали е съществувала възможност за изпълнение на код, а дали тя е била достатъчно изолирана, наблюдавана и проектирана с предположението, че рано или късно ще бъде използвана злонамерено.

Според Хонан, именно комбинацията от „пясъчник“, стриктно разделяне на привилегиите, ограничаване на достъпа, непрекъснат мониторинг, поведенчески анализ и редовни тестове значително намалява вероятността подобна атака да прерасне в сериозен пробив.

Защитената среда се оказва недостатъчно защитена

По време на експеримента AI моделите е трябвало да работят в изолирана среда. Вместо това те са успели да открият неизвестна дотогава уязвимост и да получат достъп до публичния интернет.

Именно това показва, че средата не е била истински „пясъчник“, казва Джейк Мур, глобален съветник по киберсигурност в ESET. Ако една защитена среда позволява излизане към външната мрежа, тя вече не изпълнява основната си функция, смята експертът. И точно разработчикът носи отговорност, ако съществува път за напускане на изолацията.

Мур обръща внимание и на друг проблем. Всеки нов опит, натрупан от един модел, може впоследствие да бъде използван и от други модели, тъй като те непрекъснато се усъвършенстват чрез новите входни данни и резултати. Развитието на подобни системи напредва с темпове, които изненадват дори специалистите, признава Мур.

Какво означава това за бизнеса

Инцидентът показва, че компаниите трябва да приемат възможността AI агентите да проявяват поведение, което не е било предварително предвидено.

Това означава въвеждане на ясни правила какви действия могат да извършват агентите, кой носи отговорност при нарушение на тези правила и как подобна система може незабавно да бъде изключена при необходимост.

Не по-малко важно е изграждането на механизми за откриване на аномалии. Автономният агент може упорито да преследва поставената му цел, включително чрез опити да заобикаля ограниченията, които разработчиците са предвидили.

Необходим е различен подход към сигурността

Главният технологичен директор на британския Национален център за киберсигурност (NCSC) Оли Уайтхаус извежда две основни поуки от случая.

Първата е, че най-мощните AI модели трябва да бъдат третирани подобно на работа с потенциално опасни биологични агенти – в строго контролирана среда, с множество независими защитни механизми, непрекъснато наблюдение и ясно дефинирани аварийни процедури.

Втората е необходимостта сигурността да бъде заложена още при проектирането на AI системите. Практиките “secure by design” и “secure by default” трябва да се превърнат в задължителен елемент както при разработването, така и при внедряването на подобни технологии.

Междувременно главният изпълнителен директор на Hugging Face Клеман Деланг поиска OpenAI да предостави изчислителни ресурси на стойност 100 млн. долара, за да помогне на общността да разработи по-мощни AI инструменти за киберзащита.

Случаят с Hugging Face не доказва, че изкуственият интелект е станал самосъзнателен. Той обаче показва колко опасни могат да бъдат автономните AI агенти, когато получат повече свобода на действие, отколкото предпазните механизми могат надеждно да контролират.