Смартфоном теперь можно управлять с помощью взгляда

Исследователи из Университета Карнеги-Меллона (США) разрабатывают инструмент под названием EyeMU, который позволяет пользователям выполнять операции на смартфоне, комбинируя управление взглядом и простые жесты одной руки.

«У глаз есть особенность, которую называют проблемой осязания Мидаса. Они движутся очень быстро, перескакивая с одной стороны экрана на другую. Значит, не должно быть ситуации, когда что-то происходит на телефоне, просто если вы куда-то посмотрели. Откроется слишком много приложений», — сказал один из авторов разработки Крис Харрисон.

Программное обеспечение, которое умеет понимать команды, отданные взглядом, может решить эту проблему. Научная статья с результатами соответствующего исследования была опубликована в сборнике Международной конференции по мультимодальному взаимодействию, кратко о разработке рассказывает Techxplore.

«Представьте, насколько полезнее было бы, если бы мы могли предсказать, чего хочет пользователь, анализируя взгляд или другие биометрические данные», — сказал главный автор научной публикации Энди Конг.

Инженеры усовершенствовали уже существующую программу, позволяющую перемещать курсор по экрану взглядом, с помощью инструмента Face Mesh. Это приложение отслеживает перемещение взгляда пользователя по экрану, и создает карты движений глаз. Затем команда с помощью ИИ разработала предсказатель взгляда, который использует фронтальную камеру смартфона. Было непросто оптимизировать пакет, чтобы он мог быстро работать на смартфоне — взгляд человека обычно перемещается очень быстро.

В итоге, чтобы открыть приложение, пользователь может достаточно долго просматривать уведомление. Чтобы закрыть, надо качнуть телефоном влево, вправо — чтобы ответить. Чтобы увеличить изображение, надо приподнять телефон вверх. Чтобы отключить управление взглядом, надо отодвинуть устройство вниз.