Новости

Нейросеть научили эффективно читать по губам

Группа исследователей из Китая и США обучила нейросеть распознавать речь по губам с помощью видео.

Попытки создать эффективные алгоритмы, которые могли бы читать по губам, предпринимаются уже давно. Однако даже самые современные программы работают не так эффективно, как алгоритмы, распознающие звуковую речь. Специалисты Чжэцзянского университета разработали методику LIBS, которая использует метод работы распознавателей речи. LIBS извлекает нужные аудиоданные из видео и при этом ориентируется на контекст происходящего и на движения губ говорящего. Затем нейросеть соотносит эту информацию с видеоинформацией посредством выявления соответствия между ними и использует параметр фильтрации для доработки разных вариантов.

Метод дистилляции знаний основан на том, что нейросеть, обученная на большом количестве данных, выступает моделью-учителем для нейросети-ученика. Обе сети получают одинаковый набор данных, но ученик при этом пытается повторять за учителем. В новом исследовании нейросеть распознавания речи по аудиозаписи выступает в качестве учителя для алгоритма, который учится читать по губам. Результаты показали, что новый алгоритм распознаёт речь по губам на 7,66% лучше, чем ранее созданные приложения.

Читайте также
Как поймать темную материю
Как поймать темную материю
Темная материя есть даже в вашей комнате, но как ее поймать?
Венера — наша историческая родина?
Венера — наша историческая родина?
Благодаря находке фосфина в облаках Венеры, астрофизики обрели веру в возможность обнаружения внеземной жизни.
Секреты молодости от Павла Дурова — это научно или нет?
Секреты молодости от Павла Дурова — это научно или нет?
Можно ли верить и следовать семи правилам Дурова?