По мнению исследователей Калифорнийского университета в Беркли, неврологи однажды смогут услышать воображаемую речь пациента, неспособного говорить из-за инсульта или паралича.
Пэсли посетил каждого человека в больнице, чтобы записать активность мозга, обнаруженную электродами, когда они услышали 5-10 минут разговора. Пэсли использовал эти данные для восстановления и воспроизведения звуков, которые слышали пациенты. Он смог сделать это, потому что есть доказательства того, что мозг разбивает звук на составляющие его акустические частоты ?? например, от низкого уровня около 1 Гц (циклов в секунду) до максимального значения около 8000 Гц, что важно для звуков речи.
Пэсли протестировал две разные вычислительные модели, чтобы сопоставить произносимые звуки и характер активности электродов. Затем пациенты слышали одно слово, и Пэсли использовал модели для предсказания слова на основе записей электродов.
"Мы смотрим, какие участки коры головного мозга увеличивают активность на определенных акустических частотах, и, исходя из этого, мы возвращаемся к звуку," Пэсли сказал. Он сравнил эту технику с пианисткой, которая так хорошо знает звуки клавиш, что может смотреть на клавиши, которые другой пианист играет в звукоизолированной комнате, и "слышать" музыку, как Людвиг ван Бетховен умел "слышать" его композиции, несмотря на то, что он глухой.
Лучший из двух методов был в состоянии воспроизвести звук, достаточно близкий к исходному слову, для Пэсли и его коллег-исследователей, чтобы правильно угадать слово.
"Мы думаем, что были бы более точными, если бы час слушали и записывали, а затем повторяли слово много раз," Пэсли сказал. Но поскольку любое реалистичное устройство должно было бы точно определять слова, услышанные в первый раз, он решил протестировать модели, используя только одну пробу.
"Это исследование является важным шагом на пути к пониманию того, какие особенности речи представлены в человеческом мозгу" Рыцарь сказал. "Анализ Брайана может воспроизвести звук, который слышал пациент, и вы действительно можете распознать слово, хотя и не на идеальном уровне."
Найт предсказывает, что этот успех может быть распространен на воображаемую внутреннюю вербализацию, потому что научные исследования показали, что, когда людей просят вообразить говорящее слово, активируются аналогичные области мозга, как когда человек на самом деле произносит это слово.
"С помощью нейропротезирования люди доказали, что можно контролировать движение с помощью активности мозга," Рыцарь сказал. "Но эта работа, хотя и непростая, относительно проста по сравнению с реконструкцией языка. Этот эксперимент выводит предыдущие работы на совершенно новый уровень."
На основе более ранних работ с хорьками
Текущее исследование основано на работе других исследователей о том, как животные кодируют звуки в слуховой коре головного мозга. Фактически, некоторые исследователи, в том числе соавторы исследования из Университета Мэриленда, смогли угадать слова, которые хорьки читали ученые, на основе записей мозга, хотя хорьки не могли понять слова.
Конечной целью исследования Калифорнийского университета в Беркли было изучить, как человеческий мозг кодирует речь, и определить, какие аспекты речи наиболее важны для понимания.
"В какой-то момент мозг должен извлечь всю эту слуховую информацию и просто сопоставить ее со словом, поскольку мы можем понимать речь и слова независимо от того, как они звучат," Пэсли сказал. "Большой вопрос в том, какая единица речи является наиболее значимой? Слог, телефон, фонема? Мы можем проверить эти гипотезы, используя данные, которые мы получаем из этих записей."