Новости

Нейросеть научили эффективно читать по губам

Группа исследователей из Китая и США обучила нейросеть распознавать речь по губам с помощью видео.

Попытки создать эффективные алгоритмы, которые могли бы читать по губам, предпринимаются уже давно. Однако даже самые современные программы работают не так эффективно, как алгоритмы, распознающие звуковую речь. Специалисты Чжэцзянского университета разработали методику LIBS, которая использует метод работы распознавателей речи. LIBS извлекает нужные аудиоданные из видео и при этом ориентируется на контекст происходящего и на движения губ говорящего. Затем нейросеть соотносит эту информацию с видеоинформацией посредством выявления соответствия между ними и использует параметр фильтрации для доработки разных вариантов.

Метод дистилляции знаний основан на том, что нейросеть, обученная на большом количестве данных, выступает моделью-учителем для нейросети-ученика. Обе сети получают одинаковый набор данных, но ученик при этом пытается повторять за учителем. В новом исследовании нейросеть распознавания речи по аудиозаписи выступает в качестве учителя для алгоритма, который учится читать по губам. Результаты показали, что новый алгоритм распознаёт речь по губам на 7,66% лучше, чем ранее созданные приложения.

Читайте также
Чем отличается «сухой» биолог от «мокрого»? Подборка научных мемов
Чем отличается «сухой» биолог от «мокрого»? Подборка научных мемов
Пифагор в ярости, домашнее животное тарантула, отличие «сухого» биолога от «мокрого»
«Миллиард вакцин за год никто не производил»: основные вызовы в борьбе с COVID-19
«Миллиард вакцин за год никто не производил»: основные вызовы в борьбе с COVID-19
«Мы все в автобусе, который завис над пропастью. Все восемь миллиардов внутри».
Марсианская гонка: страны-участницы и что они запускают
Марсианская гонка: страны-участницы и что они запускают
Такой конкуренции на марсианском направлении еще не было