Разработана программа для чтения по губам

Исследователи из Оксфордского университета разработали компьютерную программу под названием LipNet, которая позволяет читать по губам. Точность распознавания составляет 93,4% - показатель, недоступный даже для людей-профессионалов.

По словам разработчиков, программа поможет людям с проблемами слуха. Кроме того, LipNet позволит общаться даже в очень шумных местах. Программу можно использовать и для более неблаговидных целей, например, с ее помощью можно узнать, о чем говорят люди, попавшие в камеры видеонаблюдения.

Для того, чтобы LipNet успешно распознавала слова, специалисты сначала «пропустили» через нее более 30 тыс. видеороликов, в которых люди произносили различные фразы. Особенность программы в том, что она обрабатывает всю фразу целиком, а не отдельные слова. Это позволило добиться более точного распознавания.


Пока программа не может распознавать слова в реальном мире. В настоящее время она работает только с фразами, построенными определенным образом. Предложение, которое способно распознать LipNet, должно иметь следующую структуру: команда, предлог, буква, цифра, наречие. Например, «положи синий в м 1 быстро». Кроме того, программа пока понимает только фразы 34 человек, участвовавших в эксперименте. Для того, чтобы LipNet умела распознавать речь людей с разными акцентами, необходима база с большим количеством видео.