Microsoft обяви наскоро, че ще направи Windows 11 операционна система, базирана на AI агенти, и пусна тестова функция на нововъведението с изкуствен интелект. Оказва се обаче, че има проблеми с AI агентите – те халюцинират и създават рискове за сигурността.
Днес, базираният на агенти изкуствен интелект има мощни възможности – например, може да изпълнява различни сложни задачи в отговор на потребителски заявки, трансформирайки начина, по който хората взаимодействат с компютрите си.
Но моделите с изкуствен интелект все още се сблъскват с функционални ограничения в поведението си и понякога могат да халюцинират, което води до неочаквани резултати.
Освен това приложенията с изкуствен интелект, базирани на агенти, създават нови рискове за сигурността, като например кръстосано инжектиране на заявки (XPIA).
При XPIA атаките злонамерено съдържание, вградено в елементи или документи на потребителския интерфейс, може да отмени инструкциите на агента и това да доведе до нежелани действия като кражба на данни или инсталиране на зловреден софтуер.
Осъзнавайки тези проблеми, Microsoft публикува предупреждение с подробности за рисковете от AI агентите, за които потребителите трябва да са наясно.
Компанията обяснява какво трябва да правят агентите и къде се крият потенциалните проблеми със сигурността, а също така насърчава потребителите да се запознаят с тези подробности.
Предвид самата природа на настоящите модели на изкуствен интелект, не е ясно дали Microsoft ще може да се справи напълно с този проблем в скоро време.
