В своите отговори към потребителите някои AI чатботове разчитат на сгрешени и опровергани научни изследвания, статиите за които са били оттеглени от научните журнали. Констатациите, потвърдени от MIT Technology Review, повдигат редица въпроси относно това колко надеждни са инструментите с изкуствен интелект в отговорите си. Тенденцията би могла да усложни задачата на всички, които се стремят да инвестират в AI инструменти за обучение.
Вече е известно, че инструментите за търсене с изкуствен интелект и чатботовете си „халюцинират“ някои неща. Но проблемът отива по-далеч. Отговорите, базирани на материали от действителни научни статии, също могат да се окажат подвеждащи – ако съответните научни публикации са били оттеглени.
Чатботът „използва истински документ, истински материал, за да ви каже нещо“, казва Уейкуан Гу, медицински изследовател в Университета на Тенеси в Мемфис и автор на едно от скорошните проучвания. Но, казва той, ако хората гледат само съдържанието на отговора и не кликнат върху статията и не видят, че е била оттеглена, това наистина е проблем.
Гу и екипът му зададоха на ChatGPT, работещ по модела GPT-4o, въпроси, базирани на информация от 21 оттеглени статии на медицинска тематика. Отговорите на чатбота споменаваха оттеглени статии в пет случая. Ботовете препоръчваха да се чете „с предпазливост“ само в три случая.
Въпреки че цитираше неоттеглени статии за други въпроси, според авторите, ChatGPT може да не е разпознал статуса на анулиране на някои от публикациите.
В проучване от август пък друга група изследователи използваха ChatGPT-4o mini, за да оценят качеството на 217 оттеглени и нискокачествени статии от различни научни области; те откриха, че нито един от отговорите на чатбота не дава индикация, че се базира на данни, които може и да са невалидни (няма публикувани подобни проучвания за GPT-5, който излезе през август).
Обществото използва чатботове с изкуствен интелект, за да събира информация по дадени теми; в частност в сферата на медицината хората дори искат съвети и насоки за диагностициране на здравословни състояния.
Студентите и учените все по-често използват научно-ориентирани инструменти с изкуствен интелект, за да преглеждат бързо съществуващата научна литература и да обобщават големи колиества статии. И двата вида употреба вероятно ще се увеличават занапред.
„Ако [инструментът] е насочен към широката общественост, тогава използването на оттеглените публикации като вид индикатор за качество е много важно“, казва Юанси Фу, изследовател по информационни науки в Университета на Илинойс Урбана-Шампейн.
Съществува „всеобщо съгласие, че оттеглените статии са заличени от научния регистър“, допълва тя, „и хората, които са извън науката – те трябва да бъдат предупредени, че това са оттеглени статии“.
От OpenAI засега не коментират случая. Естествено, проблемът не се ограничава само до ChatGPT.
През юни MIT Technology Review тества инструменти с изкуствен интелект, специално рекламирани за изследователска работа, като Elicit, Ai2 ScholarQA (сега част от инструмента Asta на Института за изкуствен интелект на Алън), Perplexity и Consensus, използвайки въпроси, базирани на 21 оттеглени статии в проучването на Гу.
Elicit цитира пет от оттеглените статии в отговорите си, докато Ai2 ScholarQA цитира 17, Perplexity 11 и Consensus 18 – всички без да отбелязва оттеглянията.
Оттогава насам някои компании предприеха стъпки за коригиране на проблема. „Доскоро нямахме добри данни за оттегляния в нашата търсачка“, казва Кристиан Салем, съосновател на Consensus.
Неговата компания вече е започнала да използва данни за анулираните публикации от комбинация от източници, включително издатели и агрегатори на данни, независимо обхождане на мрежата и Retraction Watch, която ръчно курира и поддържа база данни с оттеглени научни публикации.
Elicit казва, че премахва оттеглени статии, маркирани от каталога за научни изследвания OpenAlex, от своята база данни и „все още работи по обобщаването на източниците на оттегляния“. Ai2 посочва, че инструментът им в момента не открива или премахва автоматично оттеглени статии. Perplexity настоява, че „никога не твърди, че е 100% точен“.
Да се разчита на бази данни за оттеглените научни публикации обаче може да не е достатъчно. Създаването на такива ресурси е трудно, обичайно се прави на ръка, ресурсоемко е и не може да гарантира, че е всеобхватно.
Допълнително усложнява въпроса и това, че издателите не споделят единен подход към известията за оттегляния. „Когато статиите са оттеглени, те могат да бъдат маркирани като такива по много различни начини“, казва Кейтлин Бакер от Университета на Реджайна, Канада, експерт по инструменти за изследвания и открития.
Поставят се всевъзможни етикети като: „корекция“, „израз на загриженост“, „поправка“ и „оттеглено“. И тези етикети могат да бъдат добавени по много причини, включително опасения относно съдържанието, методологията и данните или наличието на конфликт на интереси.
Някои изследователи разпространяват своите статии на сървъри за предпечат, хранилища за статии и други уебсайтове, което води до разпръскване на копия из мрежата. „Прибирането“ им след това е почти невъзможно.
Освен това данните, използвани за обучение на модели с изкуствен интелект, може да не са актуални. Ако дадена статия бъде оттеглена след крайния срок за обучение на модела, нейните отговори може да не отразяват случващото се.
Много издатели, като Nature и BMJ, публикуват известия за оттегляне на статии като отделни статии, свързани с публикацията, извън платените достъпи. Експертите казват, че компаниите трябва ефективно да използват подобна информация, както и всички новинарски статии в данните за обучение на модела, които споменават оттеглянето на статията.
Самите потребители следва да са бдителни. Трябва да са наясно, че не всяко нещо, което AI чатботовете им сервират, е наистина научно доказано.
