Агентите с изкуствен интелект навлизат в масова употреба в големите организации. Това се случва без съответстващи инвестиции в безопасност и мониторинг. Тенденцията разкрива пропуски в рамките за управление, сигурност и прозрачност.
Само 21% от организациите имат стабилно управление или надзор върху AI агентите, които използват. Това е факт въпреки ускореното им внедряване, казват анализатори на Deloitte, чието проучване по темата разкри шокиращата реалност.
Компанията установява, че 23% от фирмите вече използват AI агенти. Очаква се този дял да достигне 74% в рамките на две години. Делът на бизнеса, който изобщо не използва AI агенти, се очаква да спадне от 25% днес до 5% за същия период.
Автономните и полуавтономните софтуерни агенти изпреварват традиционните механизми за контрол на риска. Въпросните механизми са създадени за по-статични AI модели и работни процеси, ориентирани към хората.
Пропуск в управлението
Много организации не разбират риска, смятат специалисти. „Истинският проблем, който Deloitte подчертава, не е, че AI агентите са опасни,“ обяснява Али Сарафи, главен изпълнителен директор и основател на Kovant.
„Проблемът е, че твърде много от тях се внедряват без подходящ контекст и управление. Когато AI агентите действат като самостоятелни лица, никой не може ясно да обясни какво са направили, защо са го направили или какви контроли са били приложени. Именно това прави риска труден за управление и почти невъзможен за застраховане“, допълва той.
Организациите трябва да проектират агентни системи с механизми, които правят решенията и действията проследими, смята Сарафи.
„Отговорът се нарича управлявана автономност. Добре проектирани AI агенти с ясни граници, политики и дефиниции могат да се управляват по същия начин, както всяка организация управлява своите служители. Те могат да действат бързо при нискорискови задачи – в ясни граници, но да ескалират към хора, когато действията преминат определени прагове на риск. С подробни записи на действията, стриктна наблюдаемост и човешки контрол … агентите престават да бъдат мистериозни ботове. Те се превръщат в системи, които могат да се проверяват, одитират и на които може да се има доверие“, пояснява Сарафи.
По думите му, конкурентното предимство ще зависи по-малко от това кой е първи. По-важно ще бъде дали компаниите вграждат отчетност в своите оперативни модели.
„През следващите няколко години агентите ще се превърнат в основен оперативен слой в големите предприятия. Победителите няма да бъдат толкова компаниите, които ги внедрят първи, а по-скоро тези, които ги внедрят правилно – с мерки за отчетност, видимост и контрол още от първия ден“, казва Сарафи.
Натиск върху сигурността на данните
Специалистите по сигурност също така предупреждават, че агентният AI поставя под въпрос дългогодишни предположения за защитата на данните. Традиционните модели за контрол на достъпа и наблюдение предполагат темпо, съобразено с човешката работа. Те разчитат и на предимно реактивен надзор.
Агентните системи обаче могат да инициират действия, да свързват инструменти и да преместват чувствителни данни само за секунди. Настоящите модели за контрол не са проектирани за такова поведение, казва Еран Барак, съосновател и главен изпълнителен директор на компанията за сигурност на данни MIND.
„Агентният AI разрушава парадигмата за сигурност на данните, която всички познавахме и на която разчитахме. AI агентите не просто имат достъп до данни. Те действат върху тях – вземат решения, преместват и създават информация със скоростта на машините. Това прави човеко-ориентираните контроли остарели. В новата реалност доверието зависи от постоянното разбиране кои данни са важни и от способността те да бъдат защитени със скоростта на AI“, казва Барак.
Коментарите отразяват по-широка промяна в мисленето за сигурността. Фокусът се измества от статични периметрови защити към непрекъснато, контекстно наблюдение. Това включва как и къде се движат данните, когато агентите могат самостоятелно да инициират транзакции, да генерират съдържание и да променят записи.
Рискове за киберзащитата
Появиха се и опасения относно използването на AI агенти в дейностите по опазване на сигурността. Експертите посочват, че организациите вече трудно обучават служителите си да предотвратяват кибератаки. Сега задачата е двойна: да защитят както хората, така и AI агентите от социално инженерство и измами.
Доставчиците на решения за киберсигурност, които тестват AI агенти в оперативните центрове по сигурността (SOC), все по-често проучват различни приложения. Те включват автоматизирано първоначално оценяване на заплахи, корелация на сигнали и препоръки за ответни действия. Това подчертава както потенциала, така и крехкостта на настоящите системи.
Ранните експерименти до момента са разкрили сериозни режими на отказ, казва Мартин Якобсен, управляващ директор в компанията за сигурност Cybanetix.
„Оценяваме потенциала на AI агентите да откриват заплахи и да препоръчват конкретни действия, с идеята технологията да подпомага SOC анализаторите. Това има смисъл, защото в много случаи откриването изисква едни и същи коригиращи действия. Автоматизирането им може значително да намали натоварването на анализаторите”, казва Якобсен.
„По време на нашите проучвания обаче установихме, че един конкретен AI е сгрешил зрелищно както при откриването, така и при реакцията. Той не само погрешно интерпретира заплахата. След това генерира погрешни съвети и решения къде какво да се спре и какво да се направи. Подобна ситуация би пратила SOC анализатора в напълно грешен коридор”, предупреждава Якобсен.
„Така че, трябва ли технологията да се използва като инструмент за защита? Абсолютно да – с времето. Но тя все още е в процес на развитие. Киберсекторът не може да си позволи да се откаже от тези усилия, защото AI може и ще ускори играта на котка и мишка между защитниците и нападателите“, заключава Якобсен.
