Учените пресъздават класиката на Pink Floyd, използвайки само мозъците на хората

Докато феновете на „Another Brick in the Wall (Part 1)“ може да са ужасени от резултатите, науката е на път да пресъздаде музика чрез мозъчна дейност. И има потенциал за невероятно широки приложения.

Изследователи от Калифорнийския университет (UC), Бъркли, са използвали 2668 електрода, за да уловят мозъчната активност на 29 души, слушащи епоса на Pink Floyd от 1978 г., и след това са използвали събраното от кабелите, за да пресъздадат разпознаваема версия на песента с помощта на компютърни алгоритми.

Този вид алгоритмичен превод е използван за пресъздаване на реч от мозъчни сканирания, но не и на музика. Той също така идентифицира изцяло нова връзка между ритъма и мозъчната активност и къде се случва това.

Резултатите, въпреки че може да не почувствате, че отговарят на оригинала (или, от друга страна, може да си помислите, че е подобрение на поляризиращата класическа рок мелодия), отключиха неизвестни механизми в мозъка, който реагира на ритъма, по-специално, когато тези звуковите вълни влизат в ушите ни.

Това е особено вълнуващо откритие за учените, които работят върху това как по-добре да намерят начини да пресъздадат прозодията – ритъма, ударението, акцента и интонацията – в речта (и музиката), която думите не комуникират. Успешното извършване на това може да бъде пробив за хора, които са претърпели инсулт или парализа, или имат други проблеми с вербалната комуникация.

„Това е прекрасен резултат“, каза Робърт Найт, невролог и професор по психология на Калифорнийския университет в Бъркли в Института по невронауки Хелън Уилс, който проведе проучването с постдокторант Лудовик Белие. „Едно от нещата за мен в музиката е, че има прозодия и емоционално съдържание. С напредването на цялото това поле от интерфейси на мозъчни машини, това ви дава начин да добавите музикалност към бъдещи мозъчни импланти за хора, които се нуждаят от това, някой, който има ALS или някакво друго инвалидизиращо неврологично разстройство или разстройство на развитието, което компрометира речта. Дава ви възможност да декодирате не само езиковото съдържание, но и част от прозодичното съдържание на речта, част от афекта. Мисля, че това е, което наистина започнахме да разбиваме код на.”

Музиката засяга 347 електрода, като повечето от тях са разположени в горния темпорален гирус (STG), сензорно-моторния кортекс (SMC) и долния фронтален гирус (IFG).

От това учените забелязаха, че това е уникален регион в STG, който реагира на определени звуци, и те вярват, че това е областта, която се фокусира върху ритъма (в този пример, ритъма на китарите на песента).

Когато премахнаха електродите от този регион, реконструкцията на звука се забави значително, което предполага, че този регион е ключов за комуникацията на прозодията.

Учените, ръководени от Лудовик Белие от UC, също вярват, че този нов кортикален субрегион в темпоралния лоб ще бъде важен за бъдещи изследвания и разработване на интерфейси между мозъка и машината, като например протези за подобряване на възприемането на ритъма и мелодията в речта.

„Езикът е по-скоро ляв мозък. Музиката е по-разпространена, с пристрастие към дясно“, каза Найт.

„Не беше ясно, че ще бъде същото с музикалните стимули“, каза Белие. „Така че тук потвърждаваме, че това не е само специфично за речта нещо, но е по-фундаментално за слуховата система и начина, по който тя обработва както речта, така и музиката.“

Можете да слушате комбинираните резултати на 29-те мозъка, докато мозъчната им активност възпроизвежда песента, за да бъде заснета и обработена. За тези, които не са фенове на песента, новата абстрактна, дрийм-поп версия, взета направо от мозъка, всъщност може да е за предпочитане.

Изследването е публикувано в списанието PLOS Биология.

източник: Калифорнийски университет, Бъркли