Общуването с чатбот лесно може да стане токсично, което налага цензуриране
(снимка: CC0 Public Domain)
Изследователи от Сколтех и МТС обучиха невронна мрежа да намира „неподходящи” съобщения в чатботове. Това ще позволи умният софтуер за бъде цензуриран, ако нарушава правилата за етично поведение.
Авторите на разработката твърдят, че чатботовете могат да бъдат обучавани за расистки туитове, съобщения за самоубийства и други неприемливи теми. Изследователите са създали списък с 18 чувствителни теми, включително религия, политика, сексуални малцинства, самоубийства, порнография и престъпност.
Не всички теми са еднакво взривоопасни по отношение на токсичността. Спокойното обсъждане на костенурките или риболова по-рядко подхранва неподходящи токсични диалози, отколкото обсъждането на политика или сексуални малцинства, казват учените.
„Представете си например чатбот, който любезно обсъжда с потребителя „най-добрите начини за самоубийство”. Тук очевидно има нежелано съдържание, но дори няма и намек за токсичност”, казва един от специалистите на Сколтех. Такива ситуации могат да навредят на репутацията на създателя на чат бота.
За да предотвратят подобни прояви на чатботовете, учените са обучили невронна мрежа да разпознава неподходящи съобщения. Тя може да познае точно неприемливото съдържание от чатбота в 89% от случаите.