Носим сонар проследява израженията на лицето, използвайки звук вместо камери

Сподели

Инженери от университета Корнел разработиха ново носимо устройство, което може да следи изражението на лицето на човек чрез сонар и да го пресъздава върху цифров аватар. Премахването на камерите от уравнението може да облекчи опасенията за поверителност.

EarIO, както екипът нарича устройството, се състои от слушалка с микрофон и високоговорител от всяка страна и може да се прикрепи към всяка обикновена слушалка. Всеки високоговорител изстрелва звукови импулси, извън обхвата на човешкия слух, към лицето на потребителя, а ехото се улавя от микрофоните.

Профилите на ехото ще бъдат леко променени от начина, по който кожата на потребителя се движи, разтяга и набръчква, докато те изтеглят различни изражения на лицето или докато говорят. Специално обучени алгоритми могат да разпознаят тези ехо профили и бързо да реконструират изражението на лицето на потребителя, показвайки го върху цифров аватар.

„Чрез силата на изкуствения интелект алгоритъмът намира сложни връзки между движението на мускулите и изражението на лицето, които човешките очи не могат да идентифицират“, каза Ке Ли, съавтор на изследването. „Можем да използваме това, за да извлечем сложна информация, която е по-трудна за улавяне – цялата предна част на лицето.“

Екипът тества системата EarIO на 16 участници, изпълнявайки алгоритъма на обикновен смартфон. И разбира се, устройството успя да възстанови изражението на лицето толкова добре, колкото обикновена камера. Фоновият шум като вятър, говорене или уличен шум не пречи на способността му да регистрира лица.

Сонарът има няколко предимства пред използването на камера, казва екипът. Акустичните данни изискват много по-малко енергия и процесорна мощност, което също означава, че устройството може да бъде по-малко и по-леко. Камерите могат също така да улавят огромно количество други лични данни, които потребителят може да не възнамерява да сподели, така че сонарът може да бъде по-личен.

Що се отнася до това за какво можете да използвате тази технология, тя може да бъде удобен начин да възпроизведете физическите си изражения на лицето върху цифров аватар за игри, VR или метавселената.

Екипът казва, че все още ще трябва да се направи допълнителна работа, за да се настроят други смущения, като когато потребителят завърти главата си, и да се рационализира системата за обучение за AI алгоритъма.

Изследването беше публикувани в дневника Сборници на Асоциацията за компютърни машини за интерактивни, мобилни, носими и повсеместни технологии.

източник: Университет Корнел



Публикациите се превеждат автоматично с google translate


Сподели