Видео: новый робот предугадывает эмоции человека и начинает улыбаться первым

Роботы уже научились общаться словами, отчасти благодаря достижениям в области крупных языковых моделей, вроде ChatGPT, их мимика, сильно отстает. В новом исследовании, опубликованном в Science Robotics, ученые Колумбийского университета представили Эмо, робота, который предугадывает выражения лица и выполняет их одновременно с человеком. Он даже научился предсказывать улыбку примерно за 840 миллисекунд до того, как человек улыбнется. Время этих выражений имеет решающее значение: запоздалая мимика выглядит неискренне.

Эмо — это человеческая голова с лицом, оснащенным 26 «мышцами», которые позволяют использовать широкий спектр тонких выражений лица. Голова покрыта мягкой силиконовой оболочкой. Для более реалистичного взаимодействия исследователи интегрировали камеры высокого разрешения в зрачок каждого глаза, что позволило Эмо устанавливать зрительный контакт, что имеет решающее значение для невербального общения.

Команда разработала две модели искусственного интеллекта: одна предсказывает мимику человека, анализируя тонкие изменения в лице; вторая генерирует двигательные команды, используя соответствующие выражения лица. 

Чтобы научить робота выражать мимику, исследователи поместили Эмо перед камерой и позволили ему совершать произвольные движения. Через несколько часов робот усвоил взаимосвязь между выражением лица и двигательными командами — примерно так же, как люди тренируют выражение лица, глядя в зеркало. Это аналогично нашей человеческой способности представлять, как мы выглядим, когда выражаем определенные эмоции.

Затем разработчики запустили видео с выражениями человеческих лиц, чтобы Эмо мог наблюдать их кадр за кадром. После обучения, которое длилось несколько часов, Эмо мог предсказывать выражение лица людей, наблюдая за крошечными изменениями на их лицах, когда у них начинает формироваться намерение улыбнуться.

«Я думаю, что точное предсказание выражений человеческого лица — это революция. Теперь робот может давать эмоциональную обратную связь. Развивая роботов, которые могут точно интерпретировать и имитировать человеческую мимику, мы приближаемся к будущему, в котором роботы смогут легко интегрироваться в нашу повседневную жизнь, предлагая общение, помощь и даже сочувствие. Представьте себе мир, где взаимодействовать с роботом так же естественно и комфортно, как разговаривать с другом», — сказал ведущий автор исследования Юхан Ху.