Новости

Нейросеть научили эффективно читать по губам

Группа исследователей из Китая и США обучила нейросеть распознавать речь по губам с помощью видео.

Попытки создать эффективные алгоритмы, которые могли бы читать по губам, предпринимаются уже давно. Однако даже самые современные программы работают не так эффективно, как алгоритмы, распознающие звуковую речь. Специалисты Чжэцзянского университета разработали методику LIBS, которая использует метод работы распознавателей речи. LIBS извлекает нужные аудиоданные из видео и при этом ориентируется на контекст происходящего и на движения губ говорящего. Затем нейросеть соотносит эту информацию с видеоинформацией посредством выявления соответствия между ними и использует параметр фильтрации для доработки разных вариантов.

Метод дистилляции знаний основан на том, что нейросеть, обученная на большом количестве данных, выступает моделью-учителем для нейросети-ученика. Обе сети получают одинаковый набор данных, но ученик при этом пытается повторять за учителем. В новом исследовании нейросеть распознавания речи по аудиозаписи выступает в качестве учителя для алгоритма, который учится читать по губам. Результаты показали, что новый алгоритм распознаёт речь по губам на 7,66% лучше, чем ранее созданные приложения.

Читайте также
Коллайдер в Дубне обрел «сердце», чтобы раскрыть тайны Вселенной
Коллайдер в Дубне обрел «сердце», чтобы раскрыть тайны Вселенной
В Дубне запустят «машину времени», которая раскроет тайны Вселенной. Главный элемент уже установлен.
Технологический прорыв дает новую надежду людям с больным сердцем
Технологический прорыв дает новую надежду людям с больным сердцем
Вы знали, что у людей с искусственным сердцем нет пульса?
Возможна ли жизнь на Марсе?
Возможна ли жизнь на Марсе?
На Марсе и на Земле когда-то были одинаковые условия для зарождения жизни.