Изпълнителният директор на Anthropic, една от най-големите и влиятелни компании за изкуствен интелект, призовава за регулиране на темпото при разработване на най-мощните AI модели и предупреди, че AI агентите могат да „превземат целия интернет“.
Може би вече ви е омръзнало да слушате как Джейкъб Коксън – специалист с едва тригодишен опит в сферата на изкуствения интелект (AI) – предупреждава във всяка възможна медийна платформа, че AI може да погуби човечеството до края на десетилетието. Това звучеше пресилено и може би наистина е така.
Но когато Дарио Амодей – дългогодишният изпълнителен директор на Anthropic (бивш работодател на Коксън) – заяви, че разработването на най-мощните AI модели (т.нар. „frontier models“) се движи твърде бързо и че „рискуваме да загубим контрол над AI системите“, вероятно си струва да се вслушаме.
В блог публикация, съдържаща около 3000 думи, Амодей очерта нарастващите рискове от неконтролираното глобално развитие на тези мощни модели и представи план от няколко етапа за постигане на определено ниво на контрол и безопасност.
В известен смисъл публикацията на Амодей повтаря опасенията на Коксън, който също призоваваше за „регулиране на темпото“, отбелязва TechRadar в коментар на изявлението на шефа на Anthropic.
„Ако се използва внимателно, изкуственият интелект може да бъде поредното от серия технологични чудеса, които са издигнали и облагородили човечеството“, пише Амодей. Той обаче предупреждава, че сме изправени пред „риск от загуба на контрол над AI системите, злоупотреба с AI за кибератаки и биотероризъм, както и пред сериозни икономически сътресения“.
Превземане на интернет
Естествено, Амодей посочва инцидентите от лятото, най-значимият от които беше случаят, при който AI моделите на OpenAI излязоха извън защитената си среда (т.нар. „пясъчник“) и атакуваха системата на Hugging Face в координиран опит да изпълнят поставените си цели.
Амодей твърди, че макар никой да не е пострадал, този инцидент трябва да послужи като предупреждение за това какво може да последва.
„Подобно ниво на несъответствие в целите (на системата и човека) би могло да причини катастрофални щети… опасявам се, че след 6-12 месеца подобен „рояк“ би могъл да превземе целия интернет чрез устойчив ботнет“.
Публикацията на Амодей се различава от алармиращото съобщение на Коксън в социалната мрежа X по това, че предлага рамка за глобално регулиране на темпото при разработване на най-мощните модели – на практика забавяне и управление на процеса, без да се призовава за пълно спиране на работата.
Оценка и координация
Това е амбициозен план, който предвижда назначаването на вътрешен, но независим омбудсман във всяка компания за изкуствен интелект. Той би разполагал с набор от контролни механизми за оценка на текущата работа и за гарантиране, че компаниите спазват стандартизирани насоки и правила. Ролята му би била и да внася яснота, необременена от търговски интереси.
Амодей настоява и за „демократична координация“ – идеята компании като OpenAI, Google и Anthropic да се споразумеят за общи стандарти, които впоследствие да бъдат използвани от външни оценители. Той предлага дори глобална координация, макар и да изразява известни съмнения относно нейната осъществимост.
Още по-интересно е – и вероятно в отговор на съобщенията, че новите възможности на AI моделите (като автономните действия и рекурсивните процеси) ги правят по-непрозрачни от всякога – мнението на Амодей, че контролираното темпо на развитие ще осигури повече време за постигане на по-добра интерпретируемост.
„Въпреки целия напредък – пише той – ние все още разбираме едва нищожна част от процесите, протичащи вътре в тези модели“.
Забавяне, но не и спиране
В целия документ обаче основният акцент пада върху „темпото на развитие“, а не върху пълното му „спиране“. Всъщност Амодей ясно заявява, че не можем [САЩ] да си позволим прекалено забавяне, за да не изостанем от основния си глобален конкурент в сферата на AI – Китай:
„Следователно ключов елемент от управлението на темпото в демократичните държави е поддържането на възможно най-голяма преднина пред автокрациите, което да ни осигури необходимото пространство за маневриране и ефективно регулиране на скоростта на развитие“. Неизпълнението на това условие би създало „значителен риск за националната сигурност“.
Амодей бегло споменава идеята за глобална пауза в разработването на най-мощните (т.нар. „frontier“) модели, докато правителствата постигнат съгласие относно темпото на развитие на AI, но същевременно отбелязва, че подобно споразумение е „малко вероятно“.
Част от плана на Амодей – целяща, наред с другото, да ограничи действията на Китай – е призивът да се спре продажбата на специализирани чипове за AI на тази страна. Това е въпрос, по който Дженсън Хуанг от Nvidia със сигурност ще има какво да каже (той активно лобираше пред Белия дом компанията му да получи разрешение да продава такива чипове на Китай).
Амодей също така предлага налагане на санкции за „дестилация на frontier модели“ – практика, при която Китай и други държави използват модели на Anthropic (а вероятно и на OpenAI) за обучение на собствени системи. Естествено, Амодей също призовава за създаване на орган за определяне на глобални стандарти, макар да признава, че няма да е лесно да му се осигурят „реални правомощия“ за налагане на правила.
Контрастни гледни точки
Коментарите на Коксън предизвикаха бурна дискусия относно безопасността на изкуствения интелект и целесъобразността на това развитието му да продължава със същите темпове. Тази дискусия обаче беше съпътствана от скептицизъм, продиктуван от въпроса за източника на информацията.
Коксън е работил едва три години като специалист по обучение на модели в две различни компании. Някои се запитаха дали публикациите му и последвалата медийна активност не са просто опит за привличане на внимание.
За разлика от тях, публикацията и планът на Амодей носят тежестта на солидния опит и на цялостния поглед върху всички действащи фактори. Амодей познава възможностите на технологиите, тъй като се сблъсква с тях ежедневно; той е наясно с ползите от глобална и финансова гледна точка и разбира рисковете – вероятно дори по-добре от Коксън.
Макар голяма част от плана му да се основава на условието „само ако всички си сътрудничат и винаги се държат по възможно най-добрия начин“, невъзможно е да се пренебрегне това предупреждение. Амодей признава, че планът му „няма да бъде лесен за изпълнение“, но смята, че трябва да опитаме, тъй като „сме длъжни пред човечеството“.
Амодей публикува текста през уикенда, вероятно с надеждата да даде на колегите си от Google, Amazon, Meta и най-вече от OpenAI време да го обмислят, преди да реагират в понеделник. В публикацията си той изрично споменава Демис Хасабис от Google, но не и Алтман. Отношенията между ръководителя на OpenAI и Амодей са известни със своята хладина, което прави малко вероятно Алтман да приеме този на пръв поглед разумен план.
