Новости

Нейронная сеть воссоздала лица людей по их голосам

Специалисты Массачусетского технологического института разработали метод реконструкции черт лица по аудиозаписи с голосом человека.

Цель проекта заключалась в том, чтобы выяснить, какую информацию о внешности человека можно извлечь из того, как он говорит. Исследователи предложили использовать нейронную сеть, разработанную специально для реконструкции лица по звуку голоса. Для эксперимента разработчики взяли обычные видеозаписи говорящих людей с Youtube и других интернет-источников. Нейросеть синхронизирует мимику и речь в видеороликах, чтобы научиться восстанавливать лицо человека по речевым сегментам. Для этого учёные использовали предварительно обученные алгоритмы распознавания лиц, а также модель декодера лица. Из видео нейросеть извлекает соответствующие кодированные пары «речь-лицо«». После изображения кодируются с использованием предварительно обученной модели распознавания лиц, в то время как форма сигнала подаётся в речевой кодер в форме спектрограммы, а после — в декодер лица для окончательной реконструкции.

Предварительные оценки показали, что нейросеть может реконструировать правдоподобные лица, которые будут похожи на реальных людей из видео. Исследователи создали страницу с дополнительными материалами, где можно найти примеры результатов работы нейросети.

Фото: Tae-Hyun Oh et al.

Читайте также
Что, если бы у человека был хвост: подборка научных мемов
Что, если бы у человека был хвост: подборка научных мемов
Смысл существования человека с точки зрения вороны и другое.
Научный перевод. Как спорить со сторонниками теорий заговора
Научный перевод. Как спорить со сторонниками теорий заговора
Как спорить с конспирологами? Не кричите на них и не смейтесь над ними.
Упавшее яблоко или плагиат: как Ньютон открыл закон всемирного тяготения
Упавшее яблоко или плагиат: как Ньютон открыл закон всемирного тяготения
Все тела во Вселенной притягиваются друг к другу. Вот почему вас так тянет к холодильнику!