Добавянето на повече изчислителна мощност и повече данни вече не гарантира пропорционално подобряване на AI моделите (снимка: CC0 Public Domain)
Генеративният изкуствен интелект се разви толкова бързо през последните две години, че въпросът за огромните пробиви беше по-скоро кога, отколкото дали. Но през последните седмици Силициевата долина става все по-загрижена, че напредъкът се забавя.
Една ранна индикация за забавяне е липсата на напредък между моделите, пуснати от най-големите играчи в областта на AI. Така например, OpenAI е изправена пред значително по-слабо повишаване на качеството на следващия си модел GPT-5, докато Anthropic забави пускането на най-мощния си модел Opus. Дори в технологичния гигант Google предстоящата версия на Gemini не отговаря на вътрешните очаквания, отбелязва CNBC.
„Не забравяйте, че ChatGPT излезе в края на 2022 г., така че са минали близо две години”, казва Дан Найлс, основател на Niles Investment Management. „Първоначално имахте огромен напредък по отношение на това какво могат да правят всички тези нови модели, а това, което се случва сега, е, че наистина сте обучили всички тези модели и така подобренията в производителността някак се изравняват”.
Ако напредъкът е плато, това би поставило под въпрос едно основно предположение, което Силициевата долина третираше като религия: законът за мащабиране. Идеята е, че добавянето на повече изчислителна мощност и повече данни гарантира по-добри модели в безкрайна степен. Но скорошните разработки предполагат, че това може да е повече теория, отколкото закон.
Ключовият проблем може да бъде, че компаниите за изкуствен интелект изчерпват данните за обучение на моделите, удряйки се в това, което експертите наричат „стена с данни”. Вместо това те се обръщат към синтетични данни или данни, генерирани от AI. Но това е решение тип лепенка, според основателя на Scale AI Александър Уанг.
„AI индустрията е като „боклук вътре, боклук вън”, казва Уанг. „Така че, ако вкарате в тези модели много AI глупости, тогава моделите просто ще изплюят повече AI глупости”.
Но някои лидери в индустрията отхвърлят идеята, че скоростта на подобрение на AI се удря в стената. „Мащабирането на базовия модел преди обучението е непокътнато и продължава”, каза главният изпълнителен директор на Nvidia Дженсън Хуанг. „Както знаете, това е емпиричен закон, а не основен физически закон. Но доказателствата са, че [мащабирането] продължава да се увеличава.
Изпълнителният директор на OpenAI Сам Алтман написа в X, че просто „няма стена”. Google казва, че е доволен от напредъка си в Gemini и е видял значителни подобрения в производителността на способности като разсъждения и кодиране.
Ако AI ускорението бъде изчерпано, следващата фаза от надпреварата е търсенето на случаи на употреба – потребителски приложения, които могат да бъдат изградени върху съществуваща технология без необходимост от допълнителни подобрения на модела. Разработването и внедряването на AI агенти, например, се очаква да промени играта.
„Мисля, че ще живеем в свят, в който има стотици милиони, милиарди AI агенти, вероятно повече AI агенти, отколкото са хората”, прогнозира изпълнителният директор на Meta Марк Зукърбърг в скорошно подкаст интервю.