Автономните автомобили вече са подлагани на симулации с напълно непредсказуеми пътни сценарии, включително животни и аномални обекти. Нов бенчмарк добавя редки събития – от слонове на пътя до илюзорни препятствия – към стандартните симулатори.
Дори най-модерните системи за автономно шофиране все още редовно правят грешки в реални шофьорски ситуации, понякога с тежки последици. Едно от обясненията за този проблем е, че методите за тестване на такива системи може да не отразяват адекватно хаотичния характер на реалния свят.
Група изследователи предложиха умишлено разширяване на разликата между симулацията и реалността. Те разработиха нов бенчмарк, Fail2Drive, който добавя силно непредсказуеми и редки сценарии към стандартните симулатори на автономно шофиране, извън сферата на типичните пътни условия.
Тестовете се основават на ситуации „извън разпределението“: например слон, пресичащ градска улица, или големи обекти, появяващи се директно на пътното платно.
В един демонстрационен сценарий симулиран автономен автомобил се сблъсква с голямо животно. В друг случай колата спира пред детска пързалка по средата на пътя и след това се сблъсква с нея.
Отделен тест възпроизвежда визуална илюзия – стена, боядисана сякаш е продължение на пътя, което вече е подвело автономните системи за шофиране в реални условия.
Разработчиците използват симулатора с отворен код CARLA, широко разпространен в индустрията за тестване на алгоритми за автономно шофиране, и добавят нови видове нестандартни ситуации.
Според Андреас Гайгер, ръководител на Групата за автономно зрение в Университета в Тюбинген и един от авторите на изследването, проблемът се крие в самата методология за оценка на такива системи.
Гайгер отбелязва, че много модели се тестват върху сценарии, които са твърде сходни с тези, върху които са били обучени. В резултат на това високата точност в бенчмарковете може да отразява не устойчивост, а по-скоро „запаметяване“ на типични ситуации.
Експериментите с Fail2Drive показват забележим спад в резултатите: средният процент на успех на автономните модели спада с 22,8%, което според изследователите сочи към фундаментални проблеми с устойчивостта на настоящите подходи към автономното шофиране.
Въпреки факта, че някои от сценариите изглеждат почти абсурдни, изследователите подчертават, че „целта не е да се създават ситуации, подобни на игра, а да се разшири обхватът от условия, при които се тестват системите“.
Този подход би трябвало да помогне за по-добра оценка на поведението на автономните превозни средства в реалния свят, където редките и неочаквани събития са неизбежни.
