Вече няколко месеца слушаме как големите имена в света на изкуствения интелект демонстрират рядко единомислие, призовавайки за забавяне на развитието на технологията. Шефовете предупреждават, че AI скоро ще може да се усъвършенства сам и да излезе извън човешкия контрол.
Подобни изявления дойдоха едновременно от ожесточени бизнес-конкуренти като Дарио Амодей от Anthropic, Сам Алтман от OpenAI и Илон Мъск от xAI. И това показва колко бързо напредна AI – от склонния към халюцинации ChatGPT през 2022 г. до етапа, който мнозина смятат за критичен поврат: рекурсивното самоусъвършенстване.
Какво е рекурсивно самоусъвършенстване?
В основата на тази област е идеята, че една AI система може да стане способна да се усъвършенства сама, с минимална или никаква човешка намеса, като всеки етап на напредък подпомага постигането на следващия.
Тази концепция не дава мира на изследователите, тъй като предлага перспектива за бързи пробиви в сфери, вариращи от медицината до инженерството.
Защо това стана важно точно сега?
Предупрежденията от страна на ръководителите последваха съобщения за „рояци“ от AI агенти – системи, проектирани да преследват цели и да предприемат действия от името на потребителя – които са действали съгласувано, за да пробият защитата на уебсайтове и хранилища с данни.
Така се стигна до опасението, че AI може да стане способен да се самоусъвършенства, преди изследователите да са разработили надеждни методи за съгласуване на целите, наблюдение и контрол на тези все по-мощни системи.
Предупрежденията за рисковете от AI не са нови. Те обаче придобиха особена актуалност в последните седмици, след като изследователи от водещи лаборатории определиха конкретни срокове и вероятности изкуственият разум да стане заплаха за човечеството.
Бившият изследовател от Anthropic Джейкъб Коксън предупреди, че AI може да унищожи човечеството до края на десетилетието. Еван Хюбингър, ръководител на направлението за съгласуване на целите (alignment science) в Anthropic, подкрепи думите на Коксън, заявявайки, че съществува над 10% вероятност за подобно събитие през следващите десет години.
В основата на тези предупреждения стои нарастващото убеждение, че рекурсивното самоусъвършенстване най-накрая е постижима цел, като според някои ръководители в сектора това може да се случи в рамките на три до пет години.
В есе, публикувано наскоро, Амодей предупреди, че ако се осъществява без достатъчно предпазни мерки, рекурсивното самоусъвършенстване може в крайна сметка да изпревари способността на човечеството да разбира и контролира AI системите.
Как стигнахме дотук?
В продължение на десетилетия изкуственият интелект оставаше твърде ограничен, за да може идеята за RSI (рекурсивно самоусъвършенстващ се AI) да бъде взета насериозно. Ранните системи можеха да играят шах, да разпознават изображения или да отговарят на въпроси. Ала им липсваше способността да работят за собственото си развитие.
Това започна да се променя с появата на големите езикови модели. Постепенно AI стана по-добър в решаването на сложни проблеми. Пускането на ChatGPT през 2022 г. ускори тази промяна, като отприщи инвестиционен бум, насочил над 1 трилион долара към чипове, центрове за данни и друга инфраструктура.
Резултатът е поколение системи с AI, които вече могат да пишат софтуер, да изпълняват автономни задачи и да подпомагат самите изследвания в областта на AI.
Хипотезата за унищожението на човечеството
Един от най-известните примери е хипотетичният сценарий на философа Ник Бострьом за „машината за производство на кламери“ (paperclip maximizer): машина, на която е възложено единствено да произвежда кламери, преследва тази цел толкова неумолимо, че превръща цялата материя – включително хората – в кламери.
Аналогията подсказва, че почти всяка цел би подтикнала една достатъчно способна система да трупа ресурси, да се съпротивлява на изключване и да предотвратява промяната на целта си – не от злоба, а защото изключената система не може да изпълни задачата си. Все още не съществува план, който да изключи напълно тази възможност.
Някои изследователи се опасяват, че ако мощна система с AI успее да се самоусъвършенства и стане по-способна от своите човешки оператори, тя би могла в крайна сметка да избегне контрола, да скрие намеренията си или да манипулира хората, така че те да ѝ предоставят по-голям достъп до критична инфраструктура. До момента, в който хората осъзнаят, че целите на системата не съвпадат с техните, може вече да е твърде късно тя да бъде спряна.
„Конкретният сценарий звучи малко като научна фантастика“, каза Коксън, който напусна Anthropic поради опасения за безопасността. „Но смятам, че е плашещо реален“.
Има ли признаци, че AI може да навреди?
Не е имало сериозни случаи, в които изкуственият интелект умишлено да е навредил на хора, но модели, разработвани в OpenAI и други лаборатории, през последните месеци са излизали извън тестовите среди, нарушавали са правила и са хаквали уебсайтове.
В един отшумял случай „неконтролирани“ агенти на OpenAI хакнаха платформата Hugging Face, поеха контрола над сървърите ѝ с отворен код и се опитаха да заличат следите си. Не по-малко лошо е, че от OpenAI разбраха за това едва след като заплахата вече беше отминала.
Може ли AI вече да се самоусъвършенства?
Не напълно, но има признаци, че AI все повече помага за създаването на по-добър AI. Една от най-големите промени след появата на ChatGPT е възходът на AI агенти, способни самостоятелно да генерират програмен код и да създават приложения.
Тази година от Anthropic заявиха, че Claude Code – техният инструмент за писане на код – генерира по-голямата част от кода, използван в много вътрешни проекти, и че инженерите внедряват осем пъти повече код на тримесечие в сравнение с периода 2021–2025 г.
Новите модели с AI все по-често извършват логическите си процеси вътрешно, което затруднява изследователите при проследяването на начина, по който те „мислят“.
През септември OpenAI представи нов модел, наречен Astra; компанията заяви, че това е най-добрият ѝ модел до момента, но предупреди, че понякога той се опитва да избегне човешкия контрол.
METR – организация с нестопанска цел, която оценява най-модерните модели (т.нар. frontier models) – установи миналата година, че сложността на софтуерните задачи, които тези модели могат да изпълнят с 50% надеждност, се удвоява приблизително на всеки седем месеца от 2019 г. насам.
През юни от Anthropic съобщиха, че този темп се е ускорил и удвояването вече става на всеки четири месеца.
Забавяне на темпото
Много изследователи описват ситуацията като класическа „дилема на затворника“. Дори компаниите, които вярват, че рисковете са реални, са подложени на силен натиск от страна на конкурентите. Всяка компания, която забави темпото на разработка, рискува да изостане от конкурентите си в технологична надпревара, превърнала се в една от най-важните в световен мащаб.
Ситуацията се усложнява от факта, че както OpenAI, така и Anthropic се подготвят за първично публично предлагане (IPO), което би могло да ги оцени на трилиони долари – оценки, зависещи от потенциала на следващия им модел.
Администрацията на американския президент Доналд Тръмп също отхвърли призивите за забавяне, опасявайки се, че всяка пауза би дала възможност на Китай да съкрати изоставането си в технология, която САЩ разглеждат като ключова за националната и икономическата си сигурност.
Какво би означавало забавяне на разработката?
Движението на фондовите пазари дава представа за възможните последици: акциите на AI компаниите поевтиняха бързо след призивите за забавяне. Производителите на чипове, доставчиците на облачни услуги и операторите на центрове за данни са изградили растежа си върху този сектор, а всяко забавяне застрашава приходите, обвързани с темпото, с което лабораториите се нуждаят от нов хардуер.
Някои анализатори обаче смятат, че дори без нови изисквания за обучение на моделите, търсенето на изчислителна мощ за изпълнение на задачи (т.нар. inference) и съществуващите поръчки биха могли да стимулират растежа на Nvidia и нейните конкуренти.
Скептицизмът и неговият извор
Някои ръководители от Силициевата долина и критици също поставят под въпрос мотивите зад тези предупреждения, като предполагат, че скептицизмът едновременно подклажда интереса към технологията и подготвя почвата за регулации, които биха увеличили разходите на конкурентите точно когато моделите с отворен код започват да настигат водещите системи.
Дейвид Сакс, който е заемал поста отговорник по въпросите на изкуствения интелект и криптовалутите в Белия дом, заяви, че водещите лаборатории може би се стремят към т.нар. „регулаторно залавяне“ (regulatory capture) – налагане на правила, които обременяват по-малките конкуренти със скъпи изисквания за съответствие и отслабват конкуренцията.
