Очилата с активиран сонар разчитат тихо изречени гласови команди на носещите ги

На някои хора им липсва силата на речта, докато други може да се окажат в шумна среда, където изговарянето на гласови команди просто няма да работи. Такива хора може да имат полза от очилата EchoSpeech, които четат мълчаливо изречените думи на техния потребител.

Експерименталните очила се разработват от екип от лабораторията за интелигентни компютърни интерфейси за бъдещи взаимодействия (SciFi) на университета Корнел.

Два обърнати надолу миниатюрни високоговорителя са монтирани от долната страна на рамката под едната леща, докато два мини микрофона са разположени под другата. Високоговорителите излъчват недоловими звукови вълни, които се отразяват от движещата се уста на потребителя и обратно към микрофоните.

Тези ехота се анализират в реално време от алгоритъм за дълбоко обучение на безжично свързан смартфон. Този алгоритъм е обучен да свързва специфично ехо със специфични движения на устата, които от своя страна са свързани със специфични мълчаливо изречени команди.

В момента EchoSpeech е в състояние да разпознае 31 такива команди с около 95% точност и изисква само няколко минути обучение за всеки потребител. И което е важно за хората, които имат проблеми с поверителността, системата не включва никакви камери, нито изпраща каквато и да е информация до интернет.

Нещо повече, тъй като не използва енергоемка камера, той може да работи до 10 часа с едно зареждане на батерията. От друга страна, изследователите твърдят, че експерименталните системи, базирани на камера, са добри само за около 30 минути употреба с едно зареждане.

В момента университетът работи върху комерсиализиране на технологията.

„За хора, които не могат да вокализират звук, тази безшумна речева технология може да бъде отличен вход за гласов синтезатор“, каза докторантът Ruidong Zhang, който ръководи проучването. „Това може да върне гласовете на пациентите.“

SciFi Lab преди това разработи донякъде подобна система, наречена EarIO, която използва оборудвано със сонар устройство за носене в ухото, за да улови израженията на лицето на потребителя – въпреки че се използва главно за създаване на цифрови аватари. Това каза, системата EarCommand на университета в Бъфало прави четете тихо изговорени думи чрез слушалка, която открива отличителни деформации на ушния канал, причинени от специфични движения на устата.

EchoSpeech е демонстриран в следния видеоклип.

източник: Университет Корнел