Новости

Нейронная сеть воссоздала лица людей по их голосам

Специалисты Массачусетского технологического института разработали метод реконструкции черт лица по аудиозаписи с голосом человека.

Цель проекта заключалась в том, чтобы выяснить, какую информацию о внешности человека можно извлечь из того, как он говорит. Исследователи предложили использовать нейронную сеть, разработанную специально для реконструкции лица по звуку голоса. Для эксперимента разработчики взяли обычные видеозаписи говорящих людей с Youtube и других интернет-источников. Нейросеть синхронизирует мимику и речь в видеороликах, чтобы научиться восстанавливать лицо человека по речевым сегментам. Для этого учёные использовали предварительно обученные алгоритмы распознавания лиц, а также модель декодера лица. Из видео нейросеть извлекает соответствующие кодированные пары «речь-лицо«». После изображения кодируются с использованием предварительно обученной модели распознавания лиц, в то время как форма сигнала подаётся в речевой кодер в форме спектрограммы, а после — в декодер лица для окончательной реконструкции.

Предварительные оценки показали, что нейросеть может реконструировать правдоподобные лица, которые будут похожи на реальных людей из видео. Исследователи создали страницу с дополнительными материалами, где можно найти примеры результатов работы нейросети.

Фото: Tae-Hyun Oh et al.

Читайте также
Судно «Академик Мстислав Келдыш» открывает мрачные тайны Арктики
Судно «Академик Мстислав Келдыш» открывает мрачные тайны Арктики
40 лет судно «Академик Мстислав Келдыш» служит науке. Рассказываем о морских исследованиях Арктики
Как и зачем читают наши мысли?
Как и зачем читают наши мысли?
Устройство для чтения мыслей по активности мозга уже создано: это нейроинтерфейс «мозг — компьютер».
«Зарезвились на просторе радикалы». К юбилею Николая Семенова
«Зарезвились на просторе радикалы». К юбилею Николая Семенова
В 25 лет он пообещал получить Нобелевскую премию и сделал это в 60. Физикохимику Семенову — 125 лет.