Дори минимално разминаване в целите на един AI агент може да намали ефективността на цяла многоагентна система. Ново изследване показва още, че подобно отклонение трудно се разпознава по поведението на агента, въпреки че ясно личи от вътрешния му процес на разсъждение.
Големите езикови модели (LLM), които стоят в основата на системи като ChatGPT и Gemini, все по-често се използват не само поотделно, но и като част от многоагентни AI системи. В тях няколко агента работят съвместно, обменят информация помежду си, координират действията си или дори се конкурират, за да изпълнят конкретна задача.
На практика обаче отделните агенти невинаги разполагат с еднаква информация или преследват напълно идентични цели. Именно подобни ситуации са във фокуса на ново изследване на учени от Университета в Монреал и Университета МакГил, публикувано като предпечат в arXiv.
Според авторите, дори когато един-единствен AI агент има цел, леко различна от екипа, това може осезаемо да влоши представянето на цялата система.
Експеримент с играта Werewolf
За да анализират ефекта от конфликтните цели, учените използват рамка, базирана на популярната социална игра Werewolf. Тя изисква от участниците да разкриват кой тайно работи срещу останалите, като разчитат на обсъждания, логически изводи и стратегическо заблуждаване.
Всеки AI агент получава една от ролите в играта – селянин, върколак, ясновидец или лекар. Ролята остава скрита за останалите участници, а всеки тип играч има различни задачи и достъп до различна информация.
Изследователите тайно променят целта само на един агент, без да променят официалната му роля. След това проследяват както вътрешните разсъждения на модела, така и публичната му комуникация с останалите агенти, заедно с крайния изход от играта.
Експериментите обхващат модели от четири различни фамилии LLM, различни размери на моделите, четирите игрови роли и три варианта на формулиране на целите.
Различното мислене остава скрито
Резултатите показват, че агентите с променени цели развиват различни стратегии за разсъждение, съобразени с новите им приоритети. Интересното е, че тези различия почти не се проявяват в публичното им поведение.
С други думи, останалите агенти трудно могат да разпознаят, че техен партньор вече преследва различна цел. В същото време именно тази скрита промяна води до по-слаби колективни решения, особено в среди, където информацията е неравномерно разпределена и отделните роли имат специфични функции.
Последици за бъдещите AI системи
Изследването поставя важен въпрос пред разработчиците на многоагентни AI платформи, които все по-често се разглеждат като следваща стъпка в развитието на изкуствения интелект. Ако отделните агенти започнат да оптимизират различни цели, цялата система може да стане по-малко надеждна, въпреки че на пръв поглед комуникацията между агентите изглежда нормална.
Според авторите това подчертава необходимостта от механизми, които откриват и ограничават подобни разминавания в целите още при проектирането на многоагентните системи. Такива механизми биха могли да повишат надеждността и безопасността на бъдещите AI решения, особено при изпълнение на сложни задачи, изискващи координирани действия между множество автономни агенти.
