Учени: AI не разбира структурата на света

Изследване на MIT разкри фундаменталните ограничения на генеративния AI
(снимка: CC0 Public Domain)

Генеративните AI модели пленяват въображението на много бизнес лидери, обещавайки автоматизация и замествайки милиони работни места. Но учени от Масачузетския технологичен институт (MIT) предупреждават, че AI, въпреки че предоставя правдоподобни отговори, всъщност не разбира сложните системи и уменията му се свеждат само до прогнози.  При задачи от реалния свят, било то разсъждения, навигация, химия или игри, AI е силно ограничен.

Съвременните големи езикови модели (LLM), като GPT-4, създават впечатление за обмислен отговор на сложни потребителски запитвания, докато всъщност те само точно предвиждат най-вероятните думи, които да бъдат поставени до предишните в определен контекст. За да проверят дали AI моделите наистина могат да „разберат” реалния свят, учени от МIT са разработили показатели, предназначени да тестват обективно тяхната интелигентност.

Една от целите на експеримента е била да оцени способността на AI да генерира инструкции стъпка по стъпка за навигация по улиците на Ню Йорк. Въпреки че генеративните AI показват известна степен на „имплицитно” изучаване на законите на света около тях, това не е еквивалент на истинско разбиране. За да подобрят точността на оценката, учените са създали формализирани методи, които им позволяват да анализират колко правилно AI възприема и интерпретира реални ситуации.

Проучването на MIT се фокусира върху трансформърите – вид генеративен AI модел, използван в популярни услуги като GPT-4. Трансформърите се обучават на огромни масиви от текстови данни, което им позволява да постигнат висока точност при избора на последователности от думи и да създават правдоподобни текстове.

За да проучат допълнително възможностите на такива системи, учените са използвали клас проблеми, известни като “детерминирани крайни автомати” – Deterministic Finite Automaton (DFA), които обхващат области като логика, географска навигация, химия и дори стратегия в игрите. В експеримента учените избраха две различни задачи – шофиране на кола по улиците на Ню Йорк и игра на Отело, за да тестват способността на AI да разбира правилно основните правила.

Както отбелязва доктор Кейон Вафа от Харвардския университет, основната цел на експеримента е била да се тества способността на AI моделите да реконструират вътрешната логика на сложни системи: „Нуждаехме се от тестови стендове, където знаехме точно как изглежда моделът на света. Сега можем да мислим стриктно какво означава да възстановим този модел на света”.

Резултатите от тестовете показват, че трансформърите са в състояние да осигурят правилни маршрути и да предложат правилните ходове в играта „Отело”, когато условията на задачите са точно определени. Въпреки това, при добавяне на усложняващи фактори като обиколките на Ню Йорк, AI моделите започват да генерират контраинтуитивни опции за маршрут, предполагайки произволни надлези, които всъщност не съществуват.

Изследването на MIT показва фундаменталните ограничения на генеративните AI модели, особено в онези задачи, които изискват умствена гъвкавост и способност за адаптиране към условията на реалния свят. Въпреки че съществуващите AI модели може да са впечатляващи в способността си да генерират правдоподобни отговори, те остават само инструменти за прогнозиране, а не напълно интелигентни системи.