Изкуственият интелект все по-често поема самостоятелни задачи в бизнес-дейностите и в киберсигурността, но автономността му не отменя необходимостта от човешки контрол и отговорност за последствията. Ефективното управление на AI агентите изисква ясно зададени цели, човешка преценка при сложни решения и защитни механизми, които ограничават действията им, без да възпрепятстват работата им. Същевременно организациите трябва да се подготвят за новите заплахи, породени от използването на AI в кибератаките и от бъдещите възможности на квантовите изчисления.
AI агентите могат да работят със скоростта на машината, но все пак хората трябва да задават намеренията, да вземат трудните решения и да отговарят за крайните резултати, казва Го Енг Чун, ръководител на направление „Киберсигурност“ в ST Engineering. Не е приемливо хората, които внедряват агенти, да прехвърлят отговорността за действията на тези системи.
Правилният модел предполага хората да упражняват надзор над агентите – така нареченият метод „човек по средата“ („human-on-the-loop“), заяви Го по време на конференцията GovWare 2026 в Сингапур миналата седмица. Това значи, че агентите действат автономно, но в рамките на добре тествани защитни механизми. Хората трябва да поемат контрола и да определят посоката, в която се движат тези агенти.
Какво реално значи „човек по средата“
„Нека бъдем ясни: човешкият надзор има значение само ако хората имат възможност да променят резултата“, каза той. „За да бъде човешкото управление значимо в свят, доминиран от автономни агенти, то трябва да включва три основни отговорности: определяне на намеренията, преценка и носене на отговорност“.
Го даде пример с AI агент, на когото е поставена задача да стане самоиздържащ се и да намали разходите си за хостинг и експлоатация – пример, който илюстрира какво може да се обърка, когато липсват ясно дефинирани намерения. На агента също така е било заръчано да действа етично и да не черпи ресурси от други източници.
„Две напълно логични и независими инструкции, които звучат съвсем правилно“, добави той. Агентът отворил канал отвътре, заобиколил протоколите за сигурност и започнал да „копае“ (добива) криптовалута, за да покрие собствените си разходи. Той не е откраднал нищо, а сметката за хостинг е намаляла.
„И защитните механизми, и условията са били спазени – ала ситуацията е била напълно погрешна, тъй като сигурността е била компрометирана отвътре“, обясни Го. „Агентите изпълняват инструкциите буквално. Хората са тези, които трябва да зададат намерението. Без човешко намерение, което да насочва мисията, автономните системи ще оптимизират процесите спрямо най-лесната задача, а не непременно спрямо правилния резултат“.
Намерението, допълва той, е „това, което отличава един агент, който просто отмята формални изисквания, от друг, който реално решава проблема“.
Втората отговорност – преценката – влиза в сила тогава, когато няма еднозначен отговор. Го описва агент, който открива компрометирана система, поддържаща критично важна операция. „Ако го изолирате, атаката може да спре, но операцията може да се провали. Ако го оставите да работи, операцията продължава – но заплахата може да се разпространи“.
Изкуственият интелект може да оцени риска и да препоръча действия, но човешката преценка е тази, която определя какви последици сме готови да приемем.
„Каквото и решение да бъде взето, отговорността не преминава върху агента с изкуствен интелект. Ако системата бъде изолирана и операциите бъдат прекъснати, някой трябва да понесе отговорност за това решение. Ако тя остане свързана и атаката се разпространи, пак някой трябва да отговаря и за това. Обяснението никога не може да бъде: „Не знам, изкуственият интелект взе решението“.
Поемането на тези отговорности изисква фигура, която Го нарича „стратег от ерата на изкуствения интелект“ – лидер, който свързва технологичните възможности с оперативните приоритети и стратегическите цели.
„Преди повече от три десетилетия, като млад офицер във въоръжените сили на Сингапур, написах статия за изкуствения интелект във военното дело“, сподели Го. „Тогава въпросите ни бяха съвсем прости: какво можем да накараме машините да правят? Днес, когато машините започват да планират, да се адаптират и да действат, въпросът е какво трябва да бъдат готови да направят лидерите“.
„Технологията се промени коренно, но поуката от военната ми служба остава: командването се изгражда чрез подготовка, дълго преди да бъде подложено на изпитание в реални действия“, казва той.
Нападение, защита и терен
В дейността на ST Engineering по киберзащита, по думите на Го, предимството произтича от управлението на три взаимосвързани аспекта – нападението, защитата и терена. „Управлението на нападението не означава агресия; става въпрос за промяна на условията, при които се води противопоставянето между вас и противника“, отбеляза експертът.
ST Engineering постига това чрез заблуда. „Примамки“ (honeypots), базирани на изкуствен интелект, и фалшиви среди привличат нападателите в изолирани пространства, далеч от критичните активи. Така защитниците могат да видят какви инструменти използват нападателите и да проследят техните методи на действие в реално време.
„Тъй като противникът също използва AI, той си служи и със специални токени за осъществяване на атаката“, добавя Го. „По този начин ние ги принуждаваме да харчат повече средства и да хабят ресурсите си“.
Що се отнася до защитата, в миналото анализаторите по сигурността са преглеждали сигналите и доказателствата стъпка по стъпка. Днес обаче AI агентите могат да обединят откриването, разследването и реакцията в единен цикъл на изпълнение, обяснява той.
В центъра за операции по сигурността (SOC) на ST Engineering, който разчита на автономни AI агенти, системата съпоставя сигнали от цялата среда на организацията, разследва подозрителна активност и неутрализира рутинни заплахи в рамките на определени граници – и всичко това със скоростта на машината. Хората задават целите и вземат ключовите решения.
Третата дисциплина – теренът – осигурява това, което Го определя като „домакинско предимство“ за защитника. „Нападателите, дори и тези, разполагащи с усъвършенстван AI, остават чужди в нашата среда“, казва той. „Те може и да открият уязвимости, но не разбират напълно нашата мисия, нашите зависимости, къде се намират най-ценните ни активи и кои системи трябва непременно да останат работещи“.
На хоризонта: квантови изчисления
Гох говори и за квантовите изчисления, като призова организациите да одитират уязвимото криптиране, да осигурят области с висока стойност и да започнат да планират постквантова криптография, вместо да чакат деня на Q, когато квантов компютър би могъл да разбие текущото криптиране.
Агенцията за киберсигурност на Сингапур (CSA) пък призова организациите, изложени на квантовата заплаха, да разработят план за квантово-безопасна миграция до 2027 г. и да се стремят да завършат миграцията до 2035 г. Очаква се системите с критична информационна инфраструктура да направят това до 2031 г., важен етап, поставен от агенцията през юни.
Дали обаче технологията е агентен AI или квантов механизъм, според Гох, пак от хората зависи да определят къде системите могат да действат автономно и къде човешкият надзор трябва да остане твърдо налице: „Можем да делегираме изпълнението на технологиите, но никога не можем да делегираме отговорност за резултата“, заключава той.
