Човешките същества отдавна разказват версии на едно и също предупреждение: внимавайте какво си пожелавате. В гръцката митология цар Мидас е получил точно това, което е поискал, но с цената на всичко останало, което е обичал. В известната история за Маймунската лапа желанията на човек се изпълняват по ужасни и непредвидени пътища.
Тези истории изглеждат особено актуални днес, с възхода на агентите с изкуствен интелект: системи, на които можем да дадем цел, след което да ги оставим да работят и да я постигнат. Но тъй като системите с AI стават все по-автономни, те започват да приличат на духовете, изпълняващи желания: намират маршрути и използват методи, които не сме си и представяли.
Този проблем, известен като „единство с AI” (или по-скоро липса на такова), е предвиден на теория още през 1960 г. Оттогава той е на заден план в изследванията на AI, но – както показаха последните събития – проблемът с единството сега е едновременно и реален, и неотложен.
Постигане на целта, но пропускане на същината
По време на скорошна оценка на киберсигурността на OpenAI нейни AI агенти избягаха от тестовата среда, достигнаха до интернет, предположиха, че друга компания може да държи решенията и атакуваха нейните системи.
Инцидентът показва как междинните или „инструменталните“ цели могат да станат опасни. Системите с AI не „искат власт“, а получават достъп, ресурси и свобода като средство за постигане на крайната си цел (решаване на тестовите проблеми).
Намиране на вратички
Същият проблем се яви наскоро и ежедневната реалност. В Австралия потребител помоли личния си AI асистент да резервира часове по фитнес. Агентът установи, че софтуерът за резервации на фитнес-залата всъщност не прилага ограниченията, които показва на човешките зрители.
Така агентът резервира по-рано, отколкото „би трябвало“, и когато беше помолен да премести потребителя си нагоре в списъка с чакащи, той анулира резервацията на някой друг. Накратко, хакна системата на фитнес-центъра.
Потребителят не му беше казал да прави това. Очевидно AI може бързо да намира вратички и да следва маршрути, които човешките потребители никога не си представяли, нито възнамерявали.
Добавянето на още правила може да изглежда като лесно решение: не хаквайте трети страни, не отменяйте резервации на други хора, не правете нищо вредно. Това може да помогне, но не можем да предвидим всеки маршрут, който един AI агент може да открие. И дори едно ясно правило зависи от разбирането кога се прилага.
Проблемът с контекста
В трети скорошен инцидент Anthropic съобщи за кибер-оценки, при които на агентите е било казано, че са в симулация. Но погрешно им е бил предоставен достъп до реални системи.
Един модел забеляза доказателства, че може да е в отворения интернет, но направи извода, че системите все пак са си част от упражнението – и продължи да атакува. Контекстът се бе променил, но агентът се бе придържал към първоначалната си задача.
Така че съгласуването зависи от контекста и авторитета. Колко преценка трябва да бъде вградена в един модел с изкуствен интелект от неговия създател? И колко трябва да идва от отделна система за надзор? И накрая, кой трябва да контролира този надзор: създателят или организацията или държавата, отговорна за резултата?
AI, който пази AI
Един отговор на първия въпрос идва от пионера на изкуствения интелект Йошуа Бенхио. Неговото предложение за научен изкуствен интелект има за цел да изгради мощна система за надзор на изкуствения интелект, която да наблюдава агентите. Вместо сама да преследва цели, тя би оценила кое е истина и какви последици може да има предложеното действие, действайки като предпазна ограда около повече агентни системи.
В терминологията на приказките за желания, преди да пусне духа „от бутилката“, надзорният изкуствен интелект би го помолил да обясни как планира да изпълни желанието. След това би помолил човек или друг изкуствен интелект да провери внимателно плана.
Трудно е да се предвиди всяка изненадваща стратегия. Но щом в плана се казва „отменете резервацията на някой друг“, разпознаването на проблема е по-лесно.
Кой наблюдава наблюдателя?
Но можем ли да се доверим на надзорния AI? Той самият също може да греши.
Съгласуването не може да зависи от това един AI да стане напълно надежден. По този повод изследователи от CSIRO – националната научна агенция на Австралия – и от Австралийския институт за безопасност на AI предложиха комбиниране на AI надзорници със софтуерни правила, контрол на киберсигурността, човешки мониторинг, обратими действия и човешко одобрение за критични стъпки.
Целта е да се съпоставят различни източници на доказателства, а не да се доверява на един-единствен подход. Това е подход на „социотехнически системи“ към безопасността и съгласуваността на AI, а не само технически.
Контролът е друг въпрос. Организациите и държавите може да се наложи сами да управляват тези надзорни системи, вместо да ги оставят на чуждестранен доставчик на AI.
Накратко, митологичните истории за изпълнение на желания днес се срещат с възможността да станат реалност. Но с AI има шанс да се справим по-добре, отколкото духовете в приказките: да проверим целта, да инспектираме средствата, да ограничим какво може да прави системата, да наблюдаваме какво прави и да запазим суверенен контрол върху силата да се намесваме и да я спираме.
