Хора „изчезват цифрово” заради вратичка в AI

Алгоритмите за изкуствен интелект могат да имат неподозирани недостатъци
(снимка: CC0 Public Domain)

Австралийски и корейски изследователи предупреждават за вратички в системите за сигурност на изкуствения интелект, в резултат на които при определени задействания хората могат да „изчезнат цифрово”.

Изследвания на Британската организация за научни и индустриални изследвания (CSIRO), Data61, Австралийския център за кооперативни изследвания на киберсигурността (CSCRC) и южнокорейския университет Sungkyunkwan разкриват как някои тригери могат да действат като „вратички” в интелигентните охранителни камери.

Изследователите са тествали как обикновен предмет, например дреха с определен цвят, може да се използва за лесно заобикаляне и проникване в YOLO, популярна камера за откриване на обекти.

В първия кръг на тестове изследователите са използвали червена шапка, за да илюстрират как тя може да играе ролята на „спусък”, който позволява на обекта да „изчезне цифрово” – от окото на камерата. Първоначално YOLO камерата успява да открие обекта, но когато той е с червена шапка, остава незабелязан. Демонстрация с двама души, облечени в една и съща тениска, но с различни цветове, води до подобен резултат.

Шариф Абуадба, специалист по киберсигурност от Data61, пояснява, че интересът на изследователите е да разберат потенциалните недостатъци на алгоритмите за изкуствен интелект. „Проблемът с изкуствения интелект, въпреки неговата ефективност и способност да разпознава толкова много неща, е в състезателния му характер”, казва той пред ZDNet.

„Ако напишете проста компютърна програма и я предадете на някой друг до вас, той може да изпълни много функционални тестове, както и тестове за интеграция и да види как точно се държи този код. Но с изкуствен интелект… имате шанс да тествате модела само по отношение на полезността. Например за модел, който е проектиран да разпознава обекти или да класифицира имейли – добри или лоши имейли, имате ограничен обхват на тестване, защото това е черна кутия”.

Когато AI моделът не е обучен да открива всички различни сценарии, това представлява риск за сигурността. „Ако сте под наблюдение и използвате интелигентна камера и искате да се включи аларма, този човек [облечен в червената шапка] може да влиза и излиза, без да бъде разпознат”, казва Шариф Абуадба.

Щом се знае, че съществуват вратички, това ще служи като предупреждение за потребителите да вземат предвид данните, използвани за обучение на смарт камерите. Организациите с чувствителна информация трябва да генерират свой собствен набор от данни, на който имат доверие, и да обучат изкуствения интелект под надзор.

Подобни недостатъци на AI алгоритъма наскоро бяха уловени от потребители на Twitter, които откриха, че инструментът за изрязване на изображенията автоматично благоприятства белите лица пред черните. Колин Мадленд (бял) разкри расовите пристрастия на социалната мрежа при повикване на софтуера за видеоконференции Zoom.

Мадленд публикува свое изображение, както и изображение на свой чернокож колега, чиято глава се изтрива при използване на виртуален фон при повикване на Zoom. Тъй като алгоритъмът не успява да разпознае черното лице, Twitter автоматично изрязва изображението и показва само Мадленд. В отговор Twitter се ангажира, че непрекъснато ще тества алгоритмите си за пристрастия.

„Въпреки че досегашните ни анализи не са показали расова или полова пристрастност, ние признаваме, че начинът, по който автоматично изрязваме снимки, означава, че има потенциал за вреда. Трябваше да свършим по-добра работа, като предвидим тази възможност, когато за първи път проектирахме и изградихме този продукт”, написаха в блог публикация отговорните фактори в Twitter.