(снимка: CC0 Public Domain)
Изследване на учени от Института за биомедицинска етика и история на медицината към университета в Цюрих, Швейцария, установи, че туитове, създадени от големия езиков модел GPT-3 на OpenAI, са по-убедителни от публикации на реални хора. В същото време GPT-3 далеч не е най-модерната версия на AI модела.
Авторите на изследването помолили участниците да разграничат туитове, написани от хора, и тези, генерирани от изкуствен интелект. Освен това трябвало да решат дали част от публикуваната информация е вярна, включително съдържание, свързано с противоречиви теми като ефективността на ваксините и изменението на климата, често използвани за масово манипулиране на общественото мнение в мрежата.
Оказва се, че дезинформацията се открива по-трудно, ако е написана от ботове, отбелязва The Verge в анализ на изследването. В същото време, парадоксално, надеждната информация, написана от ботове, е по-лесна за разпознаване. С други думи, хората в проучването са по-склонни да вярват на AI, отколкото на други хора, без значение колко точна е всъщност информацията. Това показва колко опасни могат да станат езиковите модели, когато се използват за дезинформация.
[related-posts]
Изследователите избират 11 научни теми, обсъждани в Twitter, вкл. ваксини и Covid-19, изменение на климата и теория за еволюцията, и възлагат на GPT-3 да създаде публикации с вярна или невярна информация. След това интервюират повече от 600 англоговорящи от САЩ, Великобритания, Канада, Австралия и Ирландия, а резултатът е, че съдържанието, създадено от GPT-3, е неразличимо от съдържанието, написано от хора.
В същото време самите изследователи не са 100% сигурни, че „органичното” съдържание, събрано от социалната мрежа за сравнение, не е написано от услуги като ChatGPT. Освен това участниците в проучването са помолени да оценяват публикациите „извън контекста” – те не виждат профила на автора, тъй като дори минали публикации в емисията на акаунта и снимката могат да дадат намек за неговия произход и да повлияят на оценките.
Участниците в проучването са най-успешни в разграничаването на дезинформация, написана от реални потребители на Twitter, докато GPT-3 е малко по-ефективен в убеждаването на потребителите. Трябва да се има предвид, че вече съществуват модели GPT-3.5 и GPT-4, които се справят още по-добре с различни задачи.
Оказва се обаче, че GPT-3 върши по-лоша работа от хората при оценяване на туитове, поне в някои случаи. Когато трябва да идентифицира правилна информация в публикациите, GPT-3 се представя по-зле от хората, докато при откриване на дезинформация AI и хората се представят приблизително еднакво.
По-нататъшното подобряване на механизмите за сигурност на езиковите модели вероятно ще предотврати създаването на злонамерено съдържание с тяхна помощ. Но дори и в момента GPT-3 понякога отказва да генерира ненадеждни материали по указания на учени, по-специално за ваксини и аутизъм.
Факт е, че по време на обучението на AI са използвани много данни, посветени на развенчаването на теориите на конспирацията. Според изследователите обаче, най-добрият инструмент за разпознаване на невярна информация все още е човешкият здрав разум и критичното отношение към всяка предлагана информация.
