Сигналы мозга смогли перевести в устную речь

Американские учёные создали технологию, которая призвана переводить мысли в членораздельную речь. Устройство считывает сигналы мозговой активности в тот момент, когда человек хочет что-либо сказать. Разработка прибора, соединяющего возможности синтезатора речи и искусственного интеллекта, представляет собой важный шаг в совершенствовании интерфейсов «мозг — компьютер». В будущем это изобретение смогут использовать люди, потерявшие способность говорить в результате травмы или болезни.

Учёные из Колумбийского университета (США) создали технологию, которая способна переводить мысли человека в членораздельную речь. Для этого исследователи обратились к вокодеру — компьютерному алгоритму, который может синтезировать речь после «обучения», прослушав многочисленные записи разговоров людей.

«Это та же технология, которую используют Amazon Echo и Apple Siri, чтобы устно ответить на наши вопросы», — пояснил автор исследования Нима Месгарани.

Сначала специалистам было необходимо научить вокодер правильно интерпретировать мозговую активность человека. Для этого алгоритм предстояло задействовать в работе с очень точными данными.

«Мы попросили пациентов, страдающих эпилепсией, которые уже проходят хирургическое лечение на мозге, послушать предложения, которые произносят разные люди. Одновременно мы анализировали закономерности в мозговой активности пациентов. На полученных нейронных моделях и обучался вокодер», — сообщил Месгарани.

Затем исследователи попросили тех же пациентов прослушать записи, в которых звучали последовательности цифр от 0 до 9. Одновременно учёные фиксировали сигналы мозга, после чего пропускали их через вокодер. Нейронные сети — разновидность искусственного интеллекта, имитирующего структуру нейронов в мозге человека, — анализировали звуки, которые вокодер издавал в ответ на эти сигналы. В результате можно было услышать роботизированный голос, повторяющий последовательность чисел. Чтобы проверить, насколько внятной получилась речь робота, инженеры попросили добровольцев послушать её.

«Мы обнаружили, что люди могут распознать слова примерно в 75% случаев, что значительно превосходит любые предыдущие попытки. Чувствительный вокодер и мощные нейронные сети сгенерировали звуки, которые слушали пациенты, с удивительной точностью», — подчеркнул Месгарани.

В ближайшем будущем исследователи планируют научить искусственный интеллект произносить более сложные слова и даже целые предложения. После этого они намерены встроить своё изобретение в имплант, который будет переводить мысли человека в речь.
«В таком случае, если владелец импланта подумает: «Мне нужен стакан воды», — наша система считает сигналы мозга и превратит их в речь. Это дало бы любому, кто потерял способность говорить из-за травмы или болезни, новый шанс общаться с окружающим миром», — заключил Месгарани.