Системата за разпознаване на жестомимична реч се справя с четенето на около 30 базови фрази
(графика: Университет в Бъфало)
Изследователски екип, ръководен от учени от Университета в Бъфало, е модифицирал слушалки със система за шумопотискане, позволяваща на електронното устройство да „вижда“ и да превежда жестомимичен език, когато е сдвоено със смартфон.
Наречена SonicASL, системата се е оказала 93,8% ефективна при тестове, провеждани на закрито и на открито, включващи 42 думи. Примерите за използваната лексика включват „любов“, „пространство“ и „камера“. При същите условия, включвайки 30 прости изречения – например „Радвам се да се запознаем“ – SonicASL е показала 90,6% ефективност.
„SonicASL е вълнуващо доказателство за концепцията, което в крайна сметка би могло да помогне значително за подобряване на комуникацията между хората с увреден или изцяло писващ слух,“ казва авторът на проекта д-р Джанпенг Джин, доцент в катедрата по компютърни науки и инженерство в UB.
Преди технологията да се появи на пазара като комерсиален продукт, трябва да се свърши още много работа, подчерта изследователят. Например речникът на SonicASL трябва да бъде значително разширен. Също така системата трябва да може да чете изражения на лицето, което е основен компонент на жестомимичния език.
Учените са решени за продължат работата си по развитието на системата. Главният мотив за тях е, че по света има над 72 милиона души с увреден слух. Всички те имат затруднения с комуникацията с останалата част от хората. Предизвикателството е голямо, защото глухите по света боравят с над 300 различни жестови езика.
Новината за концептуалната система бе публикувана в списанието Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies. За изобретението учените казват, че използва доплерова технология, за да „усеща“ малки колебания или ехо в акустичните вълни, създадени от движенето на ръцете. Изследването ще бъде представено на конференцията на ACM за повсеместни изчисления (UbiComp), която ще се проведе от 21 до 26 септември.