Интерфейсите мозък-компютър връщат гласовете на две жени

Загубата на способността да се говори след мозъчна травма или поради заболяване оставя човек неспособен да изрази своите мисли, чувства и идеи и може да бъде невероятно изолиращ. В две наскоро публикувани проучвания изследователите демонстрираха как комбинирането на мозъчни импланти и AI дава на две жени – едната парализирана след инсулт, другата с прогресивно невродегенеративно разстройство – глас.

Инсултът може да увреди областите на мозъка, които контролират езика и речта. По същия начин амиотрофичната латерална склероза (ALS), прогресивно невродегенеративно заболяване, което атакува невроните, контролиращи мускулите, може да причини проблеми с говора, когато засегне мускулите, които движат устните, езика, мекото небце, челюстта и гласовата кутия. Но изследователите са намерили начин да върнат гласа на безгласните.

Интерфейсите мозък-компютър (BCI) са тук и те само се подобряват. Две проучвания, публикувани на 23 август в списанието Природата доказаха докъде сме стигнали със способността си да превеждаме мисли в изречени думи. Първият, от изследователи от Калифорнийския университет в Сан Франциско (UCSF) и Калифорнийския университет в Бъркли, позволи на жена, която е претърпяла инсулт, да говори и да изразява емоции чрез цифров аватар. Вторият, от Stanford Medicine, преобразува мозъчната активност на жена, която е загубила способността да говори поради ALS, в текст, показан на компютърен екран.

Историята на Ан

Ан получи инсулт на мозъчния ствол на 30 години, който я остави тежко парализирана и причини силна слабост в лицевите и гласните й мускули. Преди инсулта тя е била гимназиална учителка по математика в Канада.

След години на рехабилитация, Ан се научи да общува, като въвежда старателно буква по буква на екрана на компютъра. След това, през 2021 г., тя прочете как изследователи от UCSF са позволили на парализиран мъж на име Панчо, който също е претърпял инсулт на мозъчния ствол, да преведе неговия мозъчни сигнали в текст докато се опитваше да говори.

Сега на 47, Ан помогна на същия екип, в сътрудничество с изследователи от Калифорнийския университет в Бъркли, да разработят начин за по-естествено общуване, използвайки цифров аватар, който използва AI, за да превърне мозъчните сигнали в реч и изражения на лицето.

„Нашата цел е да възстановим пълен, въплътен начин на общуване, който е най-естественият начин за нас да говорим с другите“, каза Едуард Чанг, съответен автор на изследването. „Тези постижения ни доближават много повече до превръщането на това в истинско решение за пациентите.“

С Ан изследователите искаха да подобрят това, което бяха постигнали с Панчо. Те имплантираха тънък като хартия правоъгълник от 253 електрода върху повърхността на мозъка й върху критични области, свързани с речта, които, ако не беше инсултът, щяха да анимират мускулите в устните, езика, челюстта и гласовата кутия на Ан. Електродите бяха свързани с кабел към група от компютри.

Ан работи с изследователите, за да обучи AI алгоритмите на системата да разпознават нейните уникални мозъчни сигнали. В продължение на седмици тя повтаря различни фрази от разговорен речник от 1024 думи. Вместо да обучат AI да разпознава цели думи, изследователите създадоха система, която декодира думи от по-малки компоненти или фонеми. По този начин AI трябваше да научи само 39 фонеми, за да дешифрира всяка английска дума.

„Точността, скоростта и речникът са от решаващо значение“, каза Шон Мецгер, който помогна за разработването на декодера на текст и е водещият автор на изследването. „Това е, което дава на Ан потенциала след време да общува почти толкова бързо, колкото ние, и да води много по-натуралистични и нормални разговори.“

След това изследователите създадоха алгоритъм за синтезиране на реч, който персонализираха, като използваха запис на Ан, говорейки на сватбата й, и използваха софтуер за създаване на аватар. Екипът създаде персонализирани процеси за машинно обучение, които позволиха на софтуера за аватар да се интегрира със сигналите, изпращани от мозъка на Ан, докато тя се опитваше да говори, движейки лицето на аватара и показвайки емоции като щастие, тъга и изненада.

„Ние компенсираме връзките между нейния мозък и гласовия тракт, които са били прекъснати от удара“, каза Кайло Литълджон, един от съавторите на изследването. „Когато Ан за първи път използва тази система, за да говори и да движи лицето на аватара в тандем, знаех, че това ще бъде нещо, което ще има истинско въздействие.“

Системата BCI успя да декодира голям речник и да го превърне в текст със средна скорост от 78 думи в минута, със среден процент грешки в думите от 25%. Скоростта на естествения разговор между англоговорящите е около 160 думи в минута.

Ноа Бергер/UCSF

Ан казва, че е намерила помощта за разработването на технологията за преживяване, променящо живота.

„Когато бях в болницата за рехабилитация, логопедът не знаеше какво да прави с мен“, написа тя. „Това, че съм част от това проучване, ми даде усещане за цел, чувствам, че допринасям за обществото. Имам чувството, че отново имам работа. Удивително е, че съм живял толкова дълго; това изследване ми позволи да живея наистина, докато съм още жив!“

Изследователите работят върху създаването на безжична версия на системата, която не би изисквала Ан да бъде физически свързана с BCI. Те се надяват, че тяхното проучване ще доведе до одобрена от FDA система, която позволява мозъчна комуникация сигнал към реч в близко бъдеще.

Видеото по-долу, създадено от UCSF, демонстрира как работи технологията, докато Ан разговаря със съпруга си Бил.

Историята на Пат

Шестдесет и осем годишната Пат беше диагностицирана с ALS през 2012 г. За разлика от обичайното представяне на ALS, при което влошаването започва в гръбначния мозък и засяга крайниците, нейното започва в мозъчния ствол. Това означава, че тя все още може да се движи, да се облича и да използва пръстите си, за да пише, но не може да използва мускулите, свързани с речта, за ясно произнасяне на фонемите.

За щастие, мозъкът на Пат все още може да формулира насоки за генериране на фонеми, от което са се възползвали изследователите от Stanford Medicine. През март 2022 г. неврохирург имплантира две малки сензорни матрици на повърхността на мозъка на Пат в две отделни области за производство на реч. Всяка матрица съдържа 64 електрода, които проникват в мозъчната кора на дълбочина, приблизително равна на височината на две подредени един върху друг US четвъртини (3,5 mm).

Стив Фиш/Станфордска медицина

Както при Ан, ИИ беше обучен да разграничава мозъчната дейност, свързана с опитите на Пат да формулира всяка от 39-те фонеми, които съставляват говоримия английски. Пат имаше около 25 тренировъчни сесии, където във всяка сесия тя се опитваше да повтори 260 до 480 произволно избрани изречения от голям набор от данни от извадки от телефонни разговори.

„Тази система е обучена да знае кои думи трябва да идват преди други и кои фонеми правят какви думи“, каза Франсис Уилет, водещ автор на изследването. „Ако някои фонеми са били интерпретирани погрешно, все още може да е нужно добро предположение.“

BCI постигна грешка от 9,1% в скоростта на думата за речник от 50 думи, като процентът на грешки се увеличи до 23,8% за речник от 125 000 думи. Можеше да преобразува речта на Пат със скорост 62 думи в минута.

„Показахме, че можете да декодирате предвидената реч, като записвате активност от много малка област на повърхността на мозъка“, каза Джейми Хендерсън, неврохирургът, извършил операцията на Пат и един от съавторите на изследването.

Стив Фиш/Станфордска медицина

Пат се надява, че комуникацията, подпомагана от BCI, скоро ще бъде достъпна за повече хора.

„Тези първоначални резултати доказаха концепцията и в крайна сметка технологията ще я навакса, за да я направи лесно достъпна за хора, които не могат да говорят“, пише Пат. „За тези, които са невербални, това означава, че могат да останат свързани с по-големия свят, може би да продължат да работят, да поддържат приятели и семейни отношения.“

Въпреки че все още не е налично в търговската мрежа, изследователите виждат огромния потенциал на своето устройство.

„Това е научно доказателство за концепцията, а не действително устройство, което хората могат да използват в ежедневието“, каза Уилет. „Но това е голям напредък към възстановяване на бързата комуникация на хора с парализа, които не могат да говорят.“

Видеото по-долу, създадено от Stanford Medicine, показва как BCI с доказателство за концепцията позволява на Пат да говори и техните планове за бъдещото използване на устройството.

И двете проучвания са публикувани в списанието Природата. Проучването на UCSF можете да намерите тук; може да се намери изследването на Станфордската медицина тук.

източници: UCSF, Станфордска медицина