(снимка: CC0 Public Domain)
Големите езикови модели (LLM) показват тревожно увеличение на грешките в последните си актуализации, въпреки твърденията на разработчиците за напредък. Това поставя под съмнение бъдещето на изкуствения интелект.
Доклад на OpenAI, публикуван през април, установи, че моделите o3 и o4-mini са халюцинирали съответно в 33% и 48% от случаите. За сравнение, моделът o1, пуснат в края на 2024 г., е грешал само в 16% от случаите.
Подобни данни предоставя и рейтинговата платформа Vectara: моделът DeepSeek-R1 с „подобрен логически извод” демонстрира двуцифрено увеличение на халюцинациите, отбелязва New Scientist.
OpenAI отрича връзката между актуализациите на логическите изводи и увеличаването на грешките. Представители на компанията уверяват, че работят за намаляване на халюцинациите в настоящите версии на своите LLM.
Експертите обаче се съмняват в ефективността на актуалните AI модели. Например, рейтингът Vectara, който оценява съгласуваността при обобщаване на текстове, установи, че моделите със и без логически извод имат почти еднакви нива на халюцинации.
Все пак, както отбеляза Форест Шенг Бао от Vectara, много от грешките на DeepSeek-R1 са били „безобидни” – логически правилни, но не са присъствали в оригиналните документи.
Емили Бендър от Вашингтонския университет критикува самия термин „халюцинации”, наричайки го „антропоморфизация на машини”. „LLM не разбират смисъла – те предсказват следващата дума въз основа на статистика”, подчертава тя.
Арвинд Нараянан от Принстънския университет смята, че проблемът е по-широк: AI моделите използват остарели данни и ненадеждни източници. Увеличаването на обема на данните за обучение не решава проблема с надеждността, категоричен е той.
Препоръките на изследователите се свеждат до предпазливост. Нараянан предлага да използваме LLM само там, където проверката на отговора отнема по-малко време, отколкото самостоятелното търсене.
Бендър съветва напълно да се откажем от използването на чатботове за получаване на факти. „Тези системи не са предназначени да генерират знания – те имитират реч”, казва тя.
Ситуацията поставя под въпрос бъдещето на LLM. Ако преди се е смятало, че халюцинациите ще изчезнат с развитието на технологията, сега експертите признават, че грешките ще останат неразделна част от работата на AI моделите.
Решението не е в коригиране на алгоритмите, а в промяна на подходите за проверка на техните заключения, смятат експертите.
