Софтуерните инструменти за разпознаване на съдържание, генерирано от AI, са добри в идентифицирането на… текст, написан от човек (снимка: CC0 Public Domain)
Не много след като се появи ChatGPT с неговото забележително умение да пише текст на всякаква тематика и във всякакъв формат, на пазара започнаха да излизат и софтуерни инструменти с изкуствен разум, предназначени да откриват „текст, генериран от AI”. Сега генеративният алгоритъм трябва да внимава, за да ги надхитри, нали? Изглежда сме се озовали в порочен кръг на надлъгване между различни AI-средства.
Нароилите се системи с изкуствен интелект, които твърдят, че могат да разпознават текст, генериран от изкуствен интелект, се представят слабо. И не е нужно много, за да ги преодолеем. Това стана ясно от наскоро проведен научен експеримент.
Неговото начало е свързано с опасенията, които се появиха непосредствено след стартирането на ChatGPT: че учениците ще използват чатбота, за да изготвят есета за училище, вместо да пишат сами. В отговор на подобни опасения дузини новостартиращи фирми започнаха да разработват продукти, които обещават да разпознаят дали даден текст е написан от човек или от машина. Днес изглежда, че е сравнително лесно да бъдат излъгани тези инструменти и да се избегне откриването.
Дебора Вебер-Вулф, професор по медии и компютри в Университета за приложни науки HTW Берлин, е работила с група изследователи от различни други университети, за да оцени способността на 14 инструмента за разпознаване на текстове, написани от AI. Повечето от тях работят, като търсят отличителни белези на текст, генериран от алгоритъм, например повторения. След това изчисляват вероятността текстът да е генериран от AI.
Но екипът учени е установил, че всички тествани решения се представят слабо. Те имат трудности да уловят текст, генериран от ChatGPT, който е бил леко „пренареден“ от хора или прекаран през софтуер за перифразиране.
Това предполага, че всичко, което учениците трябва да направят, е леко да адаптират есетата, генерирани от AI, за да ги представят за собствени творби – и никой не може да провери или да потвърди истинността на подобни твърдение.
„Тези инструменти за разпознаване не работят“, казва Вебер-Вулф. „Те не правят това, което казват, че правят. Те не са детектори на AI“.
Игра на писане
Изследователите са оценили инструментите, написвайки кратки есета на бакалавърско ниво по различни теми, включително инженеринг, компютърни науки, икономика, история, лингвистика и литература. Учените написали есетата съвсем сами, за да са сигурни, че няма начин който и да е изпитателен текст да е вече онлайн – защото ако се използва текст от мрежата, това би означавало, че може вече да е бил използван за обучението на ChatGPT.
След това всеки изследовател написал допълнително и текст на друг език. Създадените есета били на босненски, чешки, немски, латвийски, словашки, испански или шведски. Тези текстове били прекарани или през инструмент за превод – на AI DeepL или през Google Translate. Така били преведени на английски.
След това екипът използвал ChatGPT, за да генерира по два допълнителни текста. Учените леко променили думите в опит да скрият, че са генерирани от AI. Един документ бил редактиран ръчно от изследователите. Те променили словореда в него. Друг образец пък бил пренаписан с помощта на инструмент за перифразиране, наречен Quillbot.
В крайна сметка изследователите се оказали въоръжени с 54 текстови документа, върху които да тестват инструментите за откриване.
Малки намеси
Учените установили, че инструментите са добри в идентифицирането на текст, написан от човек (средно с 96% точност). Те обаче се справят зле, когато става въпрос за разпознаване на текст, генериран от AI, особено когато е бил редактиран. Въпреки че инструментите идентифицират текста на ChatGPT със 74% точност, прецизността им спада до 42%, когато генерираният от ChatGPT текст е леко променен.
Какво означава това?
Изводите подчертават колко неадекватни са настоящите методи на университетите за оценка на работата на студентите, казва Витомир Кованович – старши преподавател, който изгражда модели за машинно обучение и AI в Университета на Южна Австралия, и който не е участвал в проекта.
Дафне Иполито, старши изследовател в Google, специализирана в генерирането на естествен език, която също не е работила по проекта, повдига друг важен въпрос, обект на загриженост. „Ако системите за автоматично откриване трябва да се използват в образователни заведения, от решаващо значение е те да се разберат нивата на фалшиви положителни резултати, тъй като неправилното обвинение на студент в измама може да има тежки последици за академичната му кариера“, казва тя.
„Процентът на фалшивите отрицателни резултати също е важен. Ако твърде много текстове, генерирани от AI, преминат изпитанието като написани от хора, то системата за откриване не е полезна“, допълва Иполито.
Резултатите от работата на инструментите за разпознаване на AI текст не бива да се абсолютизират, казват пък от екипа на Compilatio – един от инструментите, тествани от изследователите. Оттам уточняват, че системата „просто показва подозрителни пасажи, които класифицира като потенциално плагиатство или съдържание, потенциално генерирано от AI“.
„Зависи от училищата и учителите… да валидират знанията, действително придобити от автора на документа, например чрез въвеждане на допълнителни средства за проверка – устни въпроси, допълнителни въпроси в контролирана класна стая и т.н.“, казва говорител на Compilatio.
OpenAI има в уебсайта си специален раздел за „съображения за преподаватели“. Той предупреждава, че инструментите, предназначени за откриване на генерирано от AI съдържание, са „далеч от безупречни“.
Подобни провали обаче не са попречили на компаниите да бързат да пуснат продукти, които обещават да свършат работата, казва Том Голдщайн, асистент в Университета на Мериленд, който не е участвал в изследването. „Много от тези програми не са особено точни, но не всички са пълна катастрофа“, добавя той, посочвайки, че Turnitin е успял да постигне задоволителна точност на откриване със сравнително нисък процент фалшиви положителни резултати.
Въпреки че проучванията, които хвърлят светлина върху недостатъците на така наречените „системи за откриване на AI-текст“, са много важни, би било полезно да се разшири обхватът на изследването и към AI инструменти отвъд ChatGPT, казва пък Саша Лучиони, изследовател в новостартиращата AI Hugging Face.
За Кованович цялата идея да се опитваме да разпознаем текст, написан от AI, е погрешна – без значение дали чрез използване на даден софтуер или по друг начин. „Не се опитвайте да откривате AI. По-добре направете така, че използването на AI да не е проблем“, казва той.