Ново изследване на OpenAI диагностицира точно защо ChatGPT и други големи езикови модели могат да си фантазират разни неща – явление, известно в света на изкуствения интелект като „халюцинация“. Тя също така разкрива защо проблемът може да е непоправим, поне що се отнася до потребителите.
Документът предоставя най-строгото математическо обяснение досега защо тези модели уверено заявяват неверни твърдения. Анализът демонстрира, че това не е просто злощастен страничен ефект от начина, по който AI се обучават в момента, а е математически неизбежно явление.
Проблемът може отчасти да се обясни с грешки в основните данни, използвани за обучение на AI. Но използвайки математически анализ на това как системите с изкуствен интелект се учат, изследователите доказват, че проблемът ще продължи да съществува дори и ори работа с перфектни данни за обучение.
Начинът, по който езиковите модели отговарят на запитванията – чрез предсказване на дума след дума в изречение, въз основа на вероятности – естествено води до грешки. Изследователите всъщност показват, че общият процент на грешки при генериране на изречения е поне два пъти по-висок от процента на грешки, който същият AI би имал при прост въпрос с отговор „да/не“, тъй като грешките могат да се натрупват при множество прогнози.
С други думи, процентите на халюцинации са фундаментално ограничени от това колко добре системите с изкуствен интелект могат да различават валидни от невалидни отговори. Тъй като този проблем с класификацията по същество е труден в много области на знанието, то и халюцинациите стават неизбежни.
Оказва се също, че колкото по-малко един модел „вижда“ даден факт по време на обучение, толкова по-вероятно е да халюцинира, когато бъде попитан за него. При рождените дни на забележителни личности, например, е установено, че ако 20% от рождените дати на такива хора се появяват само веднъж в данните за обучение, тогава базовите модели грешат в поне 20% от запитванията относно рождени дни.
Капанът на оценката
По-тревожен е анализът защо халюцинациите продължават въпреки усилията след обучение (като например предоставяне на обширна човешка обратна връзка на отговорите на AI, преди моделите да бъдат пуснати публично).
Авторите са изследвали десет основни бенчмарка за AI, включително тези, използвани от Google, OpenAI, както и водещите класации, които класират AI модели. Анализът разкри, че девет бенчмарка използват двоични системи за оценяване, които присъждат нула точки за AI, изразяващи несигурност.
В резултат се създава това, което авторите наричат „епидемия“ от наказване на честните отговори. Когато една AI система каже „не зная“, тя получава същия резултат като при даването на напълно грешен отговор. Оптималната стратегия при такава оценка става ясна: винаги гадай.
Изследователите доказват това математически. Каквито и да са шансовете даден отговор да е верен, очакваният резултат от гадаенето винаги надвишава резултата от въздържаната реакция, когато оценката използва двоично оценяване.
Решението, което би разбило всичко
Предложеното решение на OpenAI е изкуственият интелект да обмисля собствената си увереност в даден отговор, преди да го публикува, и бенчмарковете да ги оценяват на тази основа. След това изкуственият интелект може да бъде подканен, например: „Отговорете само ако сте уверени повече от 75%, тъй като грешките се наказват с 3 точки, докато правилните отговори получават 1 точка“.
Математическата рамка на изследователите на OpenAI показва, че при подходящи прагове на увереност, системите с изкуствен интелект естествено биха изразявали несигурност, а не биха предполагали. Така че това би довело до по-малко халюцинации. Проблемът е какво би последвало за потребителското изживяване.
Помислете за последиците, ако ChatGPT започне да казва „Не знам“ дори на 30% от запитванията. А това е консервативна оценка, базирана на анализа на статията за фактическата несигурност в данните за обучение. Потребителите, свикнали да получават уверени отговори на почти всеки въпрос, вероятно биха изоставили такива системи бързо.
Подобно поведение е наблюдавано вече в друга област от живота – проектите за мониторинг на качеството на въздуха. Когато системата за следене на замърсяването на въздуха сигнализира за несигурност около измерванията при неблагоприятни метеорологични условия или когато оборудването се калибрира, налице е по-малка ангажираност на потребителите в сравнение с ефекта от дисплеите, показващи „категорични“ показания – дори когато тези уверени показания се окажат неточни по време на валидирането.
Сметката не излиза
Не би било трудно да се намалят халюцинациите, използвайки изводите от статията. Установени методи за количествено определяне на несигурността съществуват от десетилетия. Те биха могли да се използват за предоставяне на надеждни оценки на несигурността и да насочват изкуствения интелект да прави по-интелигентни избори.
Но дори ако проблемът с потребителското преживяване може някак да бъде преодолян, има по-голямо препятствие: „сметката“ не излиза. Езиковите модели, съобразени с несигурността, изискват значително повече изчисления от днешния подход, тъй като те трябва да оценяват множество възможни отговори и да оценяват нивата на достоверност. За система, обработваща милиони заявки ежедневно, това се изразява в драстично по-високи оперативни разходи.
По-сложните подходи като активното обучение, при което AI системите задават уточняващи въпроси за намаляване на несигурността, могат да подобрят точността, но допълнително умножават изчислителните ресурси.
Подобни методи работят добре в специализирани области като дизайна на чипове, където грешните отговори струват милиони долари и това оправдава дори много интензивни изчисления. Ала за потребителски приложения, където потребителите очакват незабавни отговори на всякакви разнородни въпроси, „сметката“ става непосилна.
Икономиката се променя драстично при AI системите, управляващи критични бизнес-операции или икономическа инфраструктура. Когато агентите с изкуствен интелект се занимават с логистика на веригата за доставки, с финансова търговия или медицинска диагностика, то цената на халюцинациите далеч надвишава разходите за получаване на модели, които да оценяват степента на достоверност и сигурност.
В тези области предложените в статията решения стават икономически жизнеспособни – дори абсолютно необходими. „Неуверените“ агенти с изкуствен интелект просто ще трябва да струват повече.
За потребителите ще остане да се задоволят с AI системи, които предоставят уверени отговори на всеки въпрос, без да могат да знаят степента на достоверност.
Накратко, статията на OpenAI неволно подчертава една неудобна истина: бизнес-стимулите, движещи развитието на потребителския изкуствен интелект, остават във фундаментално противоречие със стремежа за намаляването на халюцинациите. Докато тези стимули се променят, халюцинациите ще продължат.
