Новости

Нейросеть научили эффективно читать по губам

Группа исследователей из Китая и США обучила нейросеть распознавать речь по губам с помощью видео.

Попытки создать эффективные алгоритмы, которые могли бы читать по губам, предпринимаются уже давно. Однако даже самые современные программы работают не так эффективно, как алгоритмы, распознающие звуковую речь. Специалисты Чжэцзянского университета разработали методику LIBS, которая использует метод работы распознавателей речи. LIBS извлекает нужные аудиоданные из видео и при этом ориентируется на контекст происходящего и на движения губ говорящего. Затем нейросеть соотносит эту информацию с видеоинформацией посредством выявления соответствия между ними и использует параметр фильтрации для доработки разных вариантов.

Метод дистилляции знаний основан на том, что нейросеть, обученная на большом количестве данных, выступает моделью-учителем для нейросети-ученика. Обе сети получают одинаковый набор данных, но ученик при этом пытается повторять за учителем. В новом исследовании нейросеть распознавания речи по аудиозаписи выступает в качестве учителя для алгоритма, который учится читать по губам. Результаты показали, что новый алгоритм распознаёт речь по губам на 7,66% лучше, чем ранее созданные приложения.

Читайте также
Как и зачем читают наши мысли?
Как и зачем читают наши мысли?
Устройство для чтение мыслей по активности мозга уже создано: это нейроинтерфейс «мозг — компьютер»
«Зарезвились на просторе радикалы». К юбилею Николая Семенова
«Зарезвились на просторе радикалы». К юбилею Николая Семенова
В 25 лет он пообещал получить Нобелевскую премию и сделал это в 60. Физикохимику Семенову — 125 лет.
Гольфстрим слабеет: Западной Европе (и Мурманску) грозит замерзание?
Гольфстрим слабеет: Западной Европе (и Мурманску) грозит замерзание?
Гольфстрим не дает замерзнуть порту Мурманска и обогревает Европу. На что он способен в перспективе?