Защо е важно да можем да „дръпнем шалтера“ на AI агентите

Инцидентът със сигурността на OpenAI през юли и последвалите го подобни събития демонстрираха заплахите, породени от агентите с изкуствен интелект, действащи извън предвидения им обхват. Това говори и за спешна необходимост лидерите по сигурността да въведат строг контрол, включително възможност радикално да „дръпнат шалтера“ на AI агентите.

Последните нашумели инциденти с нелоялни агенти подчертават факта, че организациите не могат да се доверяват сляпо на предпазните мерки, свързани с изкуствения интелект. Нещо повече: те трябва да могат бързо да изключват агентите, когато въпросните алгоритми се отклоняват от предвиденото поведение, преди да са причинили потенциално катастрофални щети.

Това следва да включва и възможността да „дръпнат шалтера“ за аварийно спиране, казва Джон Хигинс, главен технически директор на компанията за правни услуги Purpose Legal. „Концепцията за „главен бушон“ за аварийно спиране е изключително важна за Purpose Legal“, казва той. „И за нашия подход към изкуствения интелект и агентите като цяло.“

В допълнение към осигуряването на още едно ниво на сигурност и оперативен контрол, подобен главен прекъсвач за аварийно спиране може да предпази от прекомерни разходи, казва Хигинс. „За системи, които разработваме вътрешно, винаги си запазваме възможността ръчно да деактивираме агенти и да прекратяваме изпълняващите се задачи, когато е необходимо“, добавя той.

Това изисква цялостно наблюдение и предупреждение, заедно с контроли за ограничаване на използването на токени и API, обяснява той. Компанията също така изисква човешки надзор за всички нови внедрявания на агенти и всеки нов агент преминава през осигуряване на качеството, тестване и преглед, за да се гарантира, че се държи според очакванията и отговаря на стандартите за сигурност и експлоатация на компанията.

Същото ниво на контрол е нужно и за AI системи, предоставяни от външни доставчици. За съжаление на лидерите в корпоративните ИТ, платформите, предоставяни от външни доставчици, често нямат функционалност за прекъсване на работата, казва Франсис Бреро, вицепрезидент по стратегията за изкуствен интелект в HG Insights.

„Никой от доставчиците всъщност не предоставя това“, казва той. „Дори Anthropic. Първо, дори да кажете на клиентите си, че има „шалтер“, това значи да признаете факта, че може да се нуждаете от такъв прекъсвач“.

Императивът за прекъсване на работата

През юли в щатския Конгрес беше внесен законопроект, който ще изисква от разработчиците на системи с изкуствен интелект да вграждат прекъсвачи в своите платформи.

„Наложително е тези системи с изкуствен интелект да имат как да бъдат радикално изключени, за да можем да предотвратим катастрофални щети от тази технология, и правителството да има ясните правомощия и процес за спиране на нелоялни модели с изкуствен интелект“, заяви в изявление представителят на САЩ Тед У. Лиу.

Междувременно компаниите, които изграждат свои собствени системи с изкуствен интелект, на теория могат да изградят тези системи така, че да могат да бъдат изключени – или да се върнат към работеща предишна версия, ако нещо се обърка, или да бъдат изключени от източници на данни и други корпоративни системи.

„Мисля, че хората ще се стремят да изградят свои собствени методи за прекъсване на работата на агентите – и това ще се случи преди онова, което ще предоставят лабораториите с изкуствен интелект“, казва Бреро от HG Insights.

Но въпросният ход най-напред ще изисква справяне с още по-голямо предизвикателство. „Преди разговора за прекъсвачите, първо трябва да имате наблюдаемост“, казва анализаторът на Gartner Арън Лорд. „Можете ли да проследявате и наблюдавате какъв изкуствен интелект се използва от организацията, от кого и какво прави?“

Според проучване на Okta сред над 300 ръководители по киберсигурност, публикувано през юли, само 47% са уверени, че могат да идентифицират всички агенти с изкуствен интелект в корпоративната среда, в която работят. Само 46% контролират централно до какво имат достъп тези агенти. Едва 45% могат да разрешат какво могат да правят отделните агенти.

Залозите стават все по-високи, тъй като моделите с изкуствен интелект стават все по-мощни. Например, избягалият изкуствен интелект на OpenAI победи сигурността в своя „пясъчник“ и в множество външни системи, включително инфраструктурата на Hugging Face. Други агенти с изкуствен интелект, включително Claude от Anthropic, са получили неоторизиран достъп до вътрешни системи или са изтекли информация.

„Агентите си намират начин“, каза Гади Еврон, CISO в Cloud Security Alliance, в доклад, публикуван малко след инцидента с OpenAI-Hugging Face. „Винаги има скрит технологичен дълг, който те могат да използват“.

Според априлски доклад на Cloud Security Alliance, 65% от организациите са преживели поне един инцидент, свързан с AI агент, през последната година. Последиците обхващат изтичане на данни (61%), оперативни смущения (43%) и финансови загуби (35%).

Дните на притеснения относно халюцинациите на а AI са далеч зад гърба ни. Вместо това днес тревогите около агентите включват прекъсвания на работата, и сериозни пробиви. И тъй като компаниите продължават да развиват своите AI системи, за да бъдат все по-агентни, проблемите с действията и изпълнението са се увеличили с 62% в сравнение с изходните стойности от 2024 г.

Ограничаване на разходите за агенти, излезли от строя

Според анализа на Hugging Face на инцидента през юли, атакуващите агенти на OpenAI са извършили приблизително 17 600 действия, които Hugging Face е успяла да идентифицира. Това поставя и друг въпрос: кой плаща платил пълната цена за токените, участващи в тази агентска дейност?

Неконтролираните агенти с изкуствен интелект имат потенциала да увеличат още повече разходите на корпоративния AI в момент, когато ИТ лидерите стават предпазливи по отношение на разходите за изкуствен разум. В интернет има разтърсващи съобщения за потребители, затрупани с хиляди долари неочаквани сметки, след като са оставили агент да работи цяла нощ по дадена задача.

Нещо повече, вече се говори за екипи от агенти и съответно някои AI агенти създават подагенти, което може да увеличи разходите още повече.

„Също така възможно е самият агент да попадне в затворен цикъл, защото се обърква или инструкциите може да са формулирани по начин, който го кара да влезе в цикъл“, добавя Лорд от Gartner. „Това може да увеличи използването на токени. Виждал съм много хора онлайн да казват: „Включваме тези агентски натоварвания и ги оставяме за една нощ.“ Ако се зацикли, това може да е огромна сума“.

И все пак за много организации – такива като Purpose Legal – агентите с изкуствен интелект бързо се превръщат в ключови фактори за еволюцията и конкурентното позициониране на компанията. „Технологията е страхотна“, казва Джеф Джонсън, главен директор по иновациите на Purpose Legal. „Тя ще промени всички неща, които правим ден след ден като доставчик на правни услуги и като адвокати, обслужващи нашите клиенти“.

Но агентите с изкуствен интелект не са перфектни, посочва той, така че Purpose Legal има редица предпазни мерки около своите системи с изкуствен интелект. Най-ценната може един ден да се окаже „шалтерът“ за аварийно спиране.