Д-р Марио не ни подготви за това. В пионерско усилие, изследователи от Калифорнийския университет в Сан Франциско и Калифорнийския университет в Бъркли, в партньорство с базираната в Единбург Speech Graphics, създадоха новаторска комуникационна система, която позволява на жена, парализирана от инсулт, да говори свободно чрез цифров аватар, който тя контролира с мозъка -компютърен интерфейс.

Мозъчно-компютърните интерфейси (BCI) са устройства, които наблюдават аналоговите сигнали, произведени от вашето сиво вещество, и ги преобразуват в цифрови сигнали, които компютрите разбират – като DAC модула на миксираща звукова дъска, но това, което пасва в черепа ви. За това изследване, изследователи, ръководени от д-р Едуард Чанг, председател на неврологичната хирургия в UCSF, за първи път имплантираха 253-пинов електроден масив в речевия център на мозъка на пациента. Тези сонди наблюдаваха и улавяха електрическите сигнали, които иначе биха задвижили мускулите в челюстта, устните и езика й, и вместо това ги предаваха през кабелен порт в черепа й към банка от процесори. Този изчислителен стек съдържа AI за машинно обучение, който в хода на няколкоседмично обучение успя да разпознае моделите на електрическия сигнал на пациента за повече от 1000 думи.

Но това е само първата половина на трика. Чрез този AI интерфейс пациентът вече може да напише своите отговори, почти по същия начин Системата на Synchron работи за хора, страдащи от синдром на заключеност. Но тя също може да говори, в известен смисъл, използвайки синтезиран глас, обучен върху записи на естествения й глас от преди да бъде парализирана – .

Нещо повече, изследователите се обединиха с Графика на речтасъщата компания, която разработи технологията за фотореалистична лицева анимация Halo Infinite и Последният от нас, част IIза създаване на аватар на пациента. Технологичният „обратен инженеринг“ на SG прави необходимите мускулно-скелетни движения, които едно лице би направило въз основа на анализ на аудио входа, след което подава тези данни в реално време към двигател на играта, за да бъдат анимирани в аватар без забавяне. И тъй като умствените сигнали от пациентката бяха картографирани директно към аватара, тя можеше да изразява емоции и да общува и невербално.