Разработана мощная портативная система распознавания эмоций по реакциям тела
Исследователи разработали новый способ распознавания человеческих эмоций, сочетающий физиологические сигналы с оптоволоконного датчика и тепловизионные изображения лица. В перспективе эта портативная система сможет применяться для домашнего мониторинга психического здоровья, повышения безопасности вождения и создания технологий, более чутко реагирующих на эмоциональное состояние человека.
«В отличие от многих существующих подходов, наш метод не опирается на мимику, которую можно сознательно контролировать или утрировать. Вместо этого мы фокусируемся на естественных реакциях организма, возникающих непроизвольно. Комбинируя различные типы оптических измерений с углубленной физиологической интерпретацией, наша система способна распознавать эмоции точнее, чем устройства, использующие лишь один тип данных», — объясняет руководитель исследовательской группы Минь Жуй из Пекинского педагогического университета.
Разработку испытали на добровольцах. Результаты экспериментов опубликованы в журнале Biomedical Optics Express, и они впечатляют: при идентификации страха, радости и состояния расслабления мультимодальная система распознавания эмоций продемонстрировала точность около 93%.
Система улавливает едва заметные движения грудной клетки, связанные с сердцебиением и дыханием, с помощью носимого кардиореспираторного датчика на базе полимерного оптического волокна. Эти данные объединяются с информацией о незначительных изменениях температуры лица, регистрируемых тепловизионной камерой.
«Раннее выявление эмоционального напряжения может оказаться особенно ценным — оно поможет принять меры до того, как проблемы усугубятся. Например, автомобили смогут определять, когда водитель испытывает стресс или тревогу, и корректировать работу предупреждающих систем или ассистентов, чтобы повысить безопасность», — говорит аспирантка Бао Иншуо, первый автор статьи.
Двойной анализ
Исследователи убеждены, что интеграция физиологических сигналов с оптоволокна и температурных данных с лица может дать более целостное описание эмоциональных реакций.
«Хотя эмоции тесно связаны с изменениями во многих физиологических системах — особенно в кровотоке лица и кардиореспираторной деятельности — большинство существующих методов детекции эмоций до сих пор полагаются лишь на один тип сигнала, что ограничивает их надежность и точность. Главная сложность при разработке мультимодальной системы заключалась в том, чтобы надежно получать данные обоих типов и объединить их так, чтобы они взаимно усиливали друг друга», — отмечает Минь.
В системе используется разработанный авторами ранее кардиореспираторный датчик на полимерном оптоволокне. Он вшит в мягкий нагрудный ремень, что обеспечивает комфортный и надежный мониторинг без использования электрических контактов.
Принцип работы датчика выглядит довольно остроумным: едва заметные движения грудной клетки изменяют путь прохождения света внутри волокна. Эти оптические изменения регистрируются камерой смартфона в виде последовательности кадров, из которых извлекаются детальные паттерны дыхания и сердцебиения.
Одновременно тепловизионная камера системы снимает лицо на видео. Колебания температуры в определенных зонах лица выдают непроизвольные эмоциональные реакции.
Применяя алгоритмы машинного обучения с учителем для выделения, выравнивания и интеграции признаков из оптоволоконных кардиореспираторных сигналов и тепловизионных данных, ученые смогли идентифицировать связанные с эмоциями физиологические изменения точнее, чем это возможно при анализе лишь одного типа сигнала.
Что дальше
Для тестирования новой системы добровольцам показывали короткие видеоролики, призванные вызвать страх, радость или расслабление, и одновременно записывали движения грудной клетки и температуру лица.
Каждый тип датчика проверяли по отдельности и в комбинации. Выяснилось, что при объединении данных общая надежность распознавания каждой эмоции (с учетом как пропусков целей, так и ложных срабатываний) оказалась очень высокой — показатель F1 составил 0,93. Большинство ошибок приходилось на эпизодическое смешение страха и радости.
В следующих этапах исследователи планируют расширить возможности системы, добавив новые типы датчиков для еще более всестороннего физиологического мониторинга. Кроме того, они намерены проверить свое детище в более широком диапазоне условий — например, при различных движениях тела или в разных условиях окружающей среды.
