Изкуственият интелект все по-често се използва от хората като първи съветник при проблеми със здравето, но ново академично изследване показва, че подобна практика крие сериозни рискове. Учени от Пенсилванския държавен университет (Penn State) установиха, че водещите големи езикови модели предоставят точна медицинска информация в 76,2% от случаите, когато отговарят на въпроси, зададени от обикновени потребители.
Изследването е фокусирано върху реални сценарии, при които хората използват инструменти от рода на ChatGPT, Gemini или Llama като своеобразен анализатор на симптоми, подобно на начина, по който в миналото търсеха здравна информация чрез интернет търсачките. Според учените, именно този тип ежедневна употреба остава сравнително слабо проучен в досегашната научна литература.
За целите на анализа изследователите са организирали състезание под името Diagnose-a-thon. В него са участвали 34 души, генерирали общо 212 запитвания и AI отговори, базирани както на реални, така и на хипотетични медицински казуси.
Участниците са използвали четири популярни модела – ChatGPT-4o, ChatGPT-3.5, Gemini 1.5 Pro и Llama 3 8B. Отговорите са оценени от девет лекари по отношение медицинска достоверност и потенциална вреда.
Резултатите показват значителни разлики между отделните медицински специалности. Най-добре се справят езиковите модели с областите акушерство и гинекология, както и оториноларингологията, докато вътрешните болести, неврологията и дерматологията се оказват значително по-предизвикателни за AI моделите.
Интересен извод е, че по-конкретните запитвания водят до по-точни отговори. Най-добри резултати се наблюдават при въпроси с дължина между 60 и 250 знака.
Екипът тествал и дали допълнителното обучение на моделите с медицински учебници, клинични насоки и рецензирани научни публикации може да подобри качеството на отговорите. Получените данни обаче не показват убедително предимство на „дообучените“ версии.
В някои случаи експертите дори предпочитат отговорите на базовите модели пред тези на медицински модифицираните варианти. Но най-сериозният сигнал за безпокойство идва от честотата на грешките.
Въпреки сравнително високата точност, AI системите продължават да допускат грешки в над една пета от случаите. Според авторите, това е приблизително два пъти по-висок процент в сравнение с действителните лекари. Уви, част от тези неточности могат да доведат до потенциално вредни решения за пациентите.
Изследователите виждат бъдещето на технологията не като заместител на лекарите, а като средство за повишаване на тяхната ефективност. Според тях, навлизането на AI в здравеопазването е неизбежно и може да промени начина, по който медицинските специалисти анализират информация, поставят диагнози и вземат клинични решения.
В същото време проучването подчертава необходимостта потребителите да подхождат внимателно към медицинските съвети, генерирани от изкуствен интелект.
