Агенцията за развитие на информационните технологии и комуникациите в Сингапур публикува ново ръководство, чиято цел е да подпомогне предприятията при безопасното внедряване на агенти с изкуствен интелект. Документът разглежда специфични рискове, свързани с този тип системи, включително неоторизирани действия и изкривявания.
Сингапур официално публикува своята рамка за управление на агентни системи с изкуствен интелект – алгоритми, способни самостоятелно да разсъждават и да действат. Целта е да се овладеят нарастващите рискове за сигурността и оперативната стабилност, които произтичат от използването на автономни AI агенти.
Моделната рамка за управление (Model Governance Framework – MGF) на агентен AI надгражда съществуващите насоки за управление на изкуствения интелект в Сингапур, въведени още през 2019 г. Новият фокус обаче е върху предизвикателствата, свързани с използването на агентни системи, които не просто генерират съдържание, а извършват действия.
За разлика от генеративния AI, агентните системи могат да планират и изпълняват поредица от стъпки за постигане на конкретни цели. Те са способни да взаимодействат със средата си, например да актуализират клиентски бази данни или да обработват плащания без пряка човешка намеса. Макар това да повишава бизнес-ефективността, намесата им носи и рискове, свързани с неправомерни или погрешни действия, извършени от AI агентите.
„Подобрените възможности и автономността на агентите създават и сериозни предизвикателства за човешката отчетност. Сред тях са засиленото пристрастие към автоматизацията и склонността към прекомерно доверие в системи, които са работили надеждно в миналото“, посочват от сингапурското министерство.
Рамката ще служи като практическо ръководство за организациите, които внедряват AI агенти. То обхваща както вътрешно разработени решения, така и AI инструменти от трети страни. Целта е една и съща – да се гарантира безопасно и ефективно използване.
Сред препоръчаните управленски мерки са ясно дефиниране на границите на автономността на агента и достъпа му до данни и инструменти. Предвижда се и въвеждане на контролни „точки“, в които се изисква човешко одобрение.
Рамката препоръчва още базово тестване и непрекъснат мониторинг през целия жизнен цикъл на агентния AI. Потребителите следва да бъдат информирани, когато взаимодействат с агент, както и обучени да управляват ефективно подобни системи.
Рамката е разработена в консултация с водещи технологични компании и доставчици на услуги за осигуряване. Тъй като агентните AI ще вземат решения с реални последици, е необходимо в инфраструктурата да бъдат вградени механизми за прозрачност, ограничаване и съгласуваност, допълнени от човешка преценка, подчерта Елси Тан, мениджър „Глобален публичен сектор“ в Amazon Web Services.
Рамката запълва съществена празнина в досегашните политики, посочи Ейприл Чин, съизпълнителен директор на компанията за AI осигуряване Resaro.
„Тя поставя ключови основи за надеждно управление на АИ агенти. Помага на организациите да дефинират граници, да идентифицират рискове и да внедрят смекчаващи мерки, като например предпазни механизми за агентни системи“, заяви тя.
Изграждането на доверие в агентния AI е споделена отговорност, заяви Серейн Сиа, директор на Google Cloud за Сингапур и Малайзия. Той отбеляза, че Google работи активно по отворени стандарти за сигурно използване на AI агенти.
Самото ИТ министерство на Сингапур определя рамката като „жив документ“ и активно търси обратна връзка и реални казуси от индустрията с цел по-нататъшно усъвършенстване. Паралелно с това агенцията разработва и специализирани насоки за тестване на агентни AI приложения, надграждайки съществуващия си стартов комплект за тестване на приложения, базирани на големи езикови модели.
Още през октомври 2025 г. Агенцията за киберсигурност на Сингапур публикува допълнение към насоките си за защита на системи с изкуствен интелект, насочено конкретно към рисковете при агентния AI, и го подложи на обществено обсъждане.
Документът предоставя практически контроли за собствениците на системи, като описва методи за оценка на риска чрез картографиране на работни процеси, в които злонамерени участници биха могли да се възползват от уязвимости.
