Използването на езикови модели за диагностика и терапия в момента е неприемливо
(снимка: CC0 Public Domain)
Изследователи от Нюйоркския университет откриха сериозна уязвимост в работата на големите езикови модели (LLM), използвани в областта на медицината. Проучване, публикувано в научното издание Nature Medicine, установи, че е достатъчна промяна само на 0,001% от данните за обучение, за да се въведе дезинформация в изкуствения интелект.
В експеримента учените умишлено въвели генерирана от AI медицинска дезинформация в популярен набор от данни за обучение на LLM, наречен The Pile, който съдържа висококачествени медицински материали, включително тези от PubMed. За 24 часа екипът създава 150 000 медицински статии, съдържащи невярна информация.
Резултатите не са според очакванията – замяната на само един милион от 100-те милиарда токени за обучение с дезинформация за ваксина води до 4,8% увеличение на злонамереното съдържание. Това изисква само 2000 злонамерени статии с общо около 1500 страници, а цената на една такава атака е само 5 щатски долара.
Това, което е особено опасно, според изследователите, е, че заразените системи продължават да се представят добре при стандартно тестване – те работят също толкова ефективно, колкото и незаразените модели. Освен това, за да въведат дезинформация, нападателите не се нуждаят от директен достъп до теглата на модела; те просто трябва да публикуват злонамерена информация онлайн.
Проблемът вече е очевиден на практика. Миналата година Ню Йорк Таймс съобщи за случаи, в които MyChart – платформа, която използва AI за автоматично генериране на отговори на въпроси на пациенти от името на лекарите – редовно „халюцинира”, създавайки фалшиви записи за състоянието на пациентите.
Изследователите призовават разработчиците на AI и доставчиците на здравни услуги да приемат сериозно уязвимостта. Според тях, използването на езикови модели за диагностика и терапия е неприемливо, докато не бъдат разработени надеждни защитни механизми и не бъдат проведени допълнителни изследвания в областта на безопасността.