Човешкият мозък разбира смисъла на изреченията по-добре от AI

Учени сравниха реакциите на човешкия мозък и AI моделите към изречения, съдържащи едни и същи думи, но с различен смисъл. Изследването разкрива фундаментално разминаване между хората и изкуствения интелект.

Човешкият мозък се справя много по-добре от езиковите модели в разграничаването на субекта, извършващ дадено действие, от обекта, върху който то се извършва. До този извод достигат австралийски изследователи, които сравняват мозъчната активност по време на четене на изречения с репрезентациите, формирани от различни AI модели.

В експеримента, за който съобщава eLife, изследователите създават 108 изречения на английски език, в които променят подредбата на думите, запазвайки речниковия състав почти идентичен. Например, изречението „операторът донесе оборудването на режисьора” е преобразувано в „режисьорът донесе оператора при оборудването”.

Въпреки че наборът от думи остава практически същият, граматическите роли и общият смисъл на изреченията се променят. Подобни двойки позволяват да се установи дали даден модел отчита структурата на изречението, или разчита предимно на отделните думи.

По време на изследването тридесет души четат изреченията, докато се намират в апарат за ядрено-магнитен резонанс (ЯМР) с мощност 7 тесла, което позволява на учените да анализират мозъчната активност чрез функционален ЯМР. 

Получените данни са съпоставени с резултатите от четири типа изчислителни модели – от прости методи за осредняване на думи до архитектури от типа „трансформер”, които стоят в основата на съвременните езикови системи, както и модели, които изрично отчитат граматическите роли.

При представяне на двойки изречения с почти идентичен речников състав, моделите от типа „трансформер” показват отрицателна корелация с активността в зоните на мозъка, отговорни за обработката на езика. Техните вътрешни репрезентации не успяват да разграничат достатъчно добре изречения, в които ролите на участниците са разменени. Корелацията е приблизително −0,05.

Моделите, които изрично кодират структурата на изречението, показват положителна корелация с мозъчната активност. При хибридния модел този показател достига около 0,07. Разликата между двата модела, отчитащи структурата, не е статистически значима. 

Когато са сравнени всички 5778 двойки изречения, картината се променя. Тъй като повечето двойки се различават и по своя речников състав, резултатите на моделите, базирани на архитектурата „трансформер”, като цяло съвпадат по-добре с човешките оценки за семантична близост. 

Това подсказва, че макар тези модели да се справят умело с улавянето на лексикални различия, те изпитват затруднения с по-сложната задача да определят точно кой извършва дадено действие и кой е обектът на това действие.

В допълнителен онлайн експеримент 486 участници оценяват степента на сходство между различни изречения. Когато думите в двойките са почти идентични, човешките оценки съвпадат най-точно с резултатите от хибридния модел – този, който отчита граматическите роли.

Освен това, отделен тест показва, че GPT-4 – когато му бъдат представени самите изречения – може да оцени семантичната им близост по-ефективно, отколкото се предполага въз основа на неговите вътрешни векторни репрезентации.

С други думи, способността на един езиков модел да борави с граматически категории не означава непременно, че неговата вътрешна архитектура организира смисъла по същия начин, по който това прави човешкият мозък.

Според учените, този експеримент не доказва, че големите езикови модели са неспособни да разбират езика или да изпълняват задачи, изискващи познаване на граматиката. По-скоро той разкрива конкретна разлика в начина, по който човешкият мозък и AI моделите представят смисъла на изреченията.

Проучването се фокусира върху кратки, специално съставени фрази, а не върху естествен диалог, и не разглежда как това установено несъответствие може да повлияе на практическото представяне на чатботовете.