Как софтуерът на Uber уби жена в Аризона през 2018 г.

Серия от „лоши софтуерни решения” при самоуправляемия автомобил поставя трудния въпрос: може ли наистина изкуственият интелект да преценява правилно всяка ситуации на пътя?
(снимка: CCO Public Domain)

През пролетта на 2018 година самоуправляема кола на Uber уби жена в Аризона, като блъсна нея и колелото й, докато го бутала отстрани по пътя. Радарът в самоуправляващото се превозно средство е засякъл движещата се отстрани Илейн Херцберг повече от пет секунди преди автомобилът да я помете, разкри нов доклад на Националният съвет за безопасност на транспорта в САЩ, за който съобщава Ars Technica. Серия от „лоши софтуерни решения” е довел до сблъсъка, изваждайки на бял свят трудния въпрос: може ли наистина изкуственият разум да преценява правилно всяка ситуации на пътя?

Смъртта на Херцберг се разчу през март 2018 г., а НСБТ публикува първоначалния си доклад по случая през май същата година. В този доклад стана ясно, че лошо написаният софтуер, а не хардурът, има вина за катастрофата, при която загина Херцберг.

Новият доклад, публикуван на 6 ноември, бележи края на 20-месечното разследване на случая. Той предоставя много подробности за това как е работил софтуерът на Uber – и как всичко се е объркало в секундите преди катастрофата, която уби жената.

Хронология на една грешна класификация

Подобно на повечето софтуери за автономно шофиране, софтуерът на Uber се опитва да класифицира всеки обект, който открие, като го постави в една от няколко категории – „кола”, „велосипед” или „друго”. След това, въз основа на тази класификация, софтуерът изчислява скорост и вероятна траектория на обекта. Тази система се е „объркала” в онзи фатален ден.

Докладът на НТСБ дава разчет, секунда по секунда, какво е „мислил” софтуерът, докато колата се е приближавала към Херцберг, бутаща своя велосипед отстрани по многолентов път, далеч от каквото и да е кръстовище:

• 5,2 секунди преди удара системата я класифицира като „друг” обект;
• 4,2 секунди преди удара жената е прекласифицирана като „превозно средство”;
• между 3,8 и 2,7 секунда преди удара класификацията се редува няколко пъти между „превозно средство” и „друго”;
• 2,6 секунди преди удара системата класифицира Херцберг и нейния велосипед като „велосипед”;
• 1,5 секунди преди удара класификацията е „неизвестно”;
• 1,2 секунди преди удара отново се класифицира като „велосипед”.

Две неща са забележителни в тази последователност. Първо, в нито един момент системата не класифицира жената като пешеходец. Според НТСБ, това е така, защото „дизайнът на системата не е проектиран да взема предвид пешеходците, които се движат по пътя”. Второ, непрекъснатото превключване на класификациите попречва на софтуера да изчисли точно траекторията на обекта и да „осъзнае”, че се очертава сблъсък с автомобила.

Човек би си помислил, че ако система за самоуправление вижда даден предмет да се движи по пътя на превозното средство, той би задействал спирачките си, дори и да не е сигурен какъв обект е. Но не така работи софтуерът на Uber в онзи момент.

Системата използва наблюдаваните по-рано местоположения на обекта, за да изчисли скоростта му с цел прогнозиране на бъдещия му път. Ако обаче системата „промени класификацията на открит обект, то историята на проследяване на този обект вече не се взема предвид при генерирането на новите потенциални траектории”, съобщава службата.

Това означава на практика, че тъй като системата не е могла да определи какъв обект е Херцберг с нейното колело, тя не е могла да изчисли траекторията й на движение.

От 5,2 до 4,2 секунди преди катастрофата системата класифицира Херцберг като превозно средство и решава, че то е „статично” – не се движи – и следователно няма вероятност да се движи по пътя на автомобила. Малко по-късно системата разпознава, че „неизвестното” се движи, но прогнозира, че то ще остане в сегашната си лента.

Когато системата я прекласифицира като „велосипед” 2,6 секунди преди удара, софтуерът отново предвижда, че нещото ще остане в лентата си – грешка, която е много по-лесно да се случи, ако се изхвърлят всички предишни данни за местоположението. И ето, че 1,5 секунди преди удара системата решава, че обектът е „неизвестен” и следователно решава, че е „статичен”.

„Потискане на действието”

1,2 секунди преди удара за софтуера става ясно, че сблъсъкът е неизбежен. И все пак удрянето на спирачката можеше да забави превозното средство достатъчно, за да спаси живота на Херцберг. Но това не се е случило. НТСБ обяснява защо:

„Когато системата установи аварийна ситуация, тя инициира „потискане на действието”. Това е период от една секунда, през който [автоматизираната система за шофиране] потиска планираното спиране, докато системата проверява естеството на откритата опасност и изчислява алтернативен път или трябва операторът на превозното средство да поеме контрола върху автомобила”.

Службата казва, че – според Uber – въпросният процес на „потискане на действието” е създаден „поради опасенията, че разработваната автоматизирана система за откриване и идентифициране на фалшиви аларми може да накара автомобила да се включи в ненужни екстремни маневри”.

В резултат на това автомобилът не е започнал да задейства спирачките до 0,2 секунди преди контакта – твърде късно, за да спаси живота на Херцберг.

Дори след това закъснение с една секунда, казва НТСБ, системата не е задължително да задейства спирачките с пълна сила. Ако сблъсъкът може да бъде избегнат с рязко спиране, системата спира рязко, до фиксирано максимално ниво на забавяне. Ако обаче катастрофата е неизбежна, системата прилага по-малко спирачна сила, като инициира „постепенно забавяне на превозното средство” и същевременно предупреждава водача да поеме контрол.

Репортаж от 2018 г. в Business Insider подсказва за възможната причина за тези озадачаващи решения: екипът се е готвел да направи демонстрация на наскоро назначения изпълнителен директор на Uber Дара Хосровшахи. Инженерите били помолени да намалят броя на „лошите преживявания” за пътниците. Малко по-късно Uber обявява, че „изключва способността на автомобила да взема самостоятелни решения при спешни случаи, като „набиване” на спирачките или рязко завиване”.

Рязкото завиване в крайна сметка е възстановено отново, но ограниченията за рязкото спиране остават в сила до фаталната катастрофа през март 2018 г.

Реакцията на Uber

След катастрофата Uber обяви серия от промени по своите самоуправляеми автомобили. Сред тях беше решението да преработи някои аспекти на софтуера. Вече няма период на „потискане на действието” преди спиране в аварийна ситуация. Също така софтуерът вече не изхвърля минали данни за местоположението, ако класификацията на обекта се промени.

Във връзка с доклада на НСТБ Uber оповести следния коментар:

„Съжаляваме за катастрофата през март 2018 г. с участието на едно от нашите самоуправляеми превозни средства, отнела живота на Илейн Херцберг. Вследствие на тази трагедия екипът на Uber предприе критични подобрения в програмата, за да даде приоритет на безопасността. Ние дълбоко ценим задълбочеността на разследването на НСТБ за катастрофата и с нетърпение очакваме да прегледаме техните препоръки, когато бъдат публикувани след заседанието на съвета на НСТБ по-късно този месец”.