AI оценява фалшиви и истински научни открития по-точно от човек
(снимка: CC0 Public Domain)
Научните изследвания може скоро да претърпят фундаментални промени, тъй като изкуственият интелект доказа способността си да анализиране бързо и ефективно огромни обеми специализирана литература. В пореден експеримент AI успя да оцени фалшиви и истински научни открития по-точно от човешките експерти. Това ще улесни научните изследвания, като позволи на машините да пресяват тонове сурова информация в търсене на обещаващи идеи.
От самото начало разработчиците на генеративен AI, като ChatGPT и други приложения, се фокусираха върху способността на големите езикови модели (LLM) да отговарят на въпроси чрез обобщаване на огромните данни, на които са били обучени. Сега изследователи от University College London (UCL) си поставят друга цел – те искат да разберат дали LLM могат да синтезират знания, да извличат модели от научната литература и да ги използват за анализ на нови научни статии.
Опитът дотук показва, че изкуственият интелект е успял да надмине хората в точното оценяване на рецензирани документи. „Научният прогрес често се основава на опити и грешки, но всеки внимателен експеримент изисква време и ресурси. Дори най-опитните изследователи могат да пропуснат важни открития от литературата. Ние изследваме дали LLM могат да идентифицират модели в големи научни текстове и да предскажат резултатите от експериментите”, обясняват учените.
Не е трудно да си представим, че въвеждането на AI в процеса на проверката ще отиде далеч отвъд обикновеното откриване на знания. Това може да се окаже пробив във всички области на науката, спестявайки време и пари на учените.
Експериментът се основава на анализа на пакет от научни статии по невробиология, но може да бъде разширен до всяка област на науката. Изследователите са подготвили много двойки резюмета, състоящи се от една истинска научна статия и една фалшива – съдържаща правдоподобни, но неверни резултати и заключения.
Двойките документи са прегледани от 15 общи LLM и 117 специално подбрани експерти по човешки невронауки. Всички те е трябвало да отделят истинските произведения от фалшивите.
Оказва се, че всички LLM надминават невролозите, като точността на AI е средно 81%, а точността на човека е средно 63%. Когато най-добрите човешки експерти анализират резюметата, точността се увеличава до 66%, но дори не се доближава до точността на AI. А когато LLM е специално обучен на данни от невронауките, точността на прогнозата се увеличава до 86%.
Изследователите казват, че откритието проправя пътя към бъдеще, в което човешки експерти могат да си сътрудничат с добре калибрирани AI модели.
Изследването показва също, че повечето от новите открития изобщо не са нови. AI перфектно разкрива тази характеристика на съвременната наука. Благодарение на новия инструмент, учените поне ще знаят дали си струва да се задълбочават в избраната от тях област на изследване или е по-лесно да търсят резултатите в интернет.