Виртуальная голосовая машина превращает мозговые импульсы в речь

Ученые из Калифорнийского университета в Сан-Франциско разрабатывают способ преобразования мозговых сигналов в синтезированную компьютером речь через виртуальный диктофон.

Используя электроды, вживленные в мозговые центры пяти добровольцев, ученым удалось расшифровать сигналы и превратить их в компьютерную речь. Виртуальный голосовой аппарат — губы, челюсти, язык и гортань — трансформировал сигналы мозга каждого говорящего. Оказалось, что более длинные звуки, такие как «y», легче синтезировать, чем двоичные звуки, такие как «b» и «n». Прямое декодирование сигналов мозга без посредничества компьютерного синтезатора голоса не удалось.

Речь от синтезатора была понятной, но иногда фрагментированной. Уточняя алгоритм, ученые полагают, что смогут получить более естественную и понятную речь.

Пять волонтеров были приглашены для участия в исследовании, потому что они страдали эпилепсией, им временно должны были вживить электроды, чтобы определить, какой центр в мозге затронут.

Существует исследование, чтобы проверить ту же технологию у пациентов, которые не могут говорить.

Другая технология слежения за глазами и мышцами лица также может синтезировать речь, но очень медленно — около 10 слов в минуту, тогда как естественная речь — 100-150 слов в минуту.

«Мало кто из нас действительно знает, что происходит с их устами в речи. Мозг передает мысль, которую мы хотим сказать, и превращает ее в голосовые движения, и мы пытаемся их расшифровать», — сказал нейрохирург Эдвард Чанг, автор исследования, опубликованного в журнале Nature

Как работает распознавание голоса? Как Алиса, Сири и другие голосовые помощники понимают команды.