Едно от най-критикуваните поведения на AI чатботовете е т.нар. халюциниране
(снимка: CC0 Public Domain)
Лекарство срещу халюцинации на изкуствения интелект? Да, вече има такова. Google DeepMind разработи инструмент за „проверка на факти”, приложим към AI чатботовете, които навлизат неудържимо в последните години.
Едно от най-критикуваните поведения на AI чатботовете е т.нар. халюциниране, при което изкуственият интелект дава убедителен отговор на въпрос, като същевременно предоставя фактически невярна информация. Казано по-просто, изкуственият интелект си измисля неща в опит да задоволи своя потребител.
Това не е голям проблем в инструментите, които използват генеративен AI за създаване на снимки или видеоклипове. Известният експерт Андрей Карпати, който наскоро се оттегли от OpenAI, дори заяви, че способността за халюцинации е най-значимата характеристика на големите езикови модели (LLM), генеративната технология на изкуствения интелект.
Въпреки това, халюцинациите са много сериозен проблем в текстово-фокусирани, базирани на LLM чатботове, където потребителят очаква, че предоставената информация е фактически точна.
Предотвратяването на AI халюцинации е технологично предизвикателство – и то не е никак лесно. Изглежда обаче, че Google DeepMind и Стандфордският университет са намерили решение на проблема, според публикация на Marktechpost.
Изследователите предлагат система, базирана на LLM – Search-Augmented Factuality Evaluator, или SAFE, която по същество проверява дългосрочните отговори, генерирани от AI чатботове. Техните констатации са достъпни в arXiv заедно с целия експериментален код и набори от данни.
Системата анализира, обработва и оценява отговорите в четири стъпки, за да провери тяхната точност и реалност. SAFE разделя отговора на отделни факти, преработва ги и ги сравнява с резултатите от Google Search. Системата също така проверява уместността на отделните факти спрямо първоначалния въпрос.
За да оценят ефективността на SAFE, изследователите са създали LongFact, набор от данни от приблизително 16 000 факта. След това са тествали системата в 13 различни LLM от четири семейства – Claude, Gemini, GPT и PaLM-2. В 72% от случаите SAFE дава същите резултати като човешките анотатори. При несъгласие SAFE е правилен в 76% от времето.
Изследователите твърдят, че използването на SAFE е 20 пъти по-евтино от човешки анотатори или хора, които проверява факти (“фактчекъри”), като по този начин осигурява икономически жизнеспособно решение, което може да се приложи в мащаб.