Российские ученые обучили ИИ по движению глаз предсказывать, решит ли человек задачу

Shutterstock
Алгоритм пригодится для проверки специалистов, от зрительного внимания которых многое зависит: авиадиспетчеров, рентгенологов, водителей автобусов и др.

Исследователи из НИУ ВШЭ и Сколкова разработали модель машинного обучения, которая может предсказывать, решит ли человек задачу, по движениям глаз. Научная статья опубликована в журнале Decision Support Systems, кратко о результатах сообщили в ВШЭ.

Ментальное внимание — способность человека с усилием сосредоточиться на задаче. Это ограниченный умственный ресурс, который мы постепенно истощаем во время активной сознательной деятельности. Успешность решения сложных умственных задач зависит как от общих когнитивных способностей человека, так и от имеющегося в данный момент доступного ресурса внимания.

Особенно важно внимание для задач, связанных с удержанием в уме зрительной информации, например в работе диспетчера в аэропорту или водителя на дороге. Также оно необходимо для обучения, когда человеку нужно вовлечь все свое внимание и сосредоточиться на мыслительной задаче. Известно, что показатели ментального внимания сильно взаимосвязаны с общим уровнем интеллекта человека и успеваемостью.

Авторы статьи решили впервые применить алгоритмы машинного обучения, чтобы понять, как можно предсказать точность выполнения задачи на внимание. Для этого ученые собирали данные о скорости ответа и движении глаз.

Фото: НИУ ВШЭ
Примеры изображений, количество цветов определяет уровень сложности

В эксперименте добровольцы выполняли задачу на соответствие цветов (Colour Matching Task) в двух вариантах: с воздушными шариками и с клоунами. Перед игроком на короткое время появляются изображения с различными цветами. От испытуемого требуется сравнить картинку с предыдущей и ответить, совпадают ли цвета. Это задание имитирует задачи, которые стоят перед врачами-рентгенологами, водителями, диспетчерами в аэропортах и другими специалистами, которым важно удерживать в уме зрительную информацию и быстро учитывать изменения.

У обеих задач есть шесть уровней сложности — в зависимости от количества цветов, которые нужно обработать. Движения глаз испытуемых записывались с помощью специального устройства — айтрекера. Всего были проанализированы данные 57 здоровых взрослых людей, средний возраст которых составлял 23 года. Затем данные анализировали с использованием моделей машинного обучения. В эксперименте мерой успешности была точность — процент правильных ответов для каждого испытуемого на каждом уровне сложности.

Модель нейросети «Регрессор XGBoost» показала лучший результат. Она с точностью 82,8% предсказывала, даст ли участник правильный ответ. Самым эффективным параметром для предсказания успешности участника оказалась скорость ответа. Впрочем, это может быть связано с тем, что некоторые испытуемые давали быстрый случайный ответ, если уровень сложности превышал их ресурсы внимания.

Также на результат повлияли движения глаз. По таким параметрам, как среднее количество фиксаций на каждой картинке и их длительность, частота морганий и размер зрачка, можно было частично предсказать успешность испытуемого. Движения глаз могут отражать то усилие, которое испытуемый прилагает для удержания информации в поле внимания.

«Разработанный подход может использоваться как для дальнейшего изучения, так и в прикладных целях — для предсказания в реальном времени когнитивных способностей специалистов, объем внимания которых может изменяться», — комментирует один из авторов статьи, стажер-исследователь Научно-учебной лаборатории нейробиологических основ когнитивного развития Валентина Бачурина.

На сайте могут быть использованы материалы интернет-ресурсов Facebook и Instagram, владельцем которых является компания Meta Platforms Inc., запрещённая на территории Российской Федерации