Ученые разработали метод, который объединяет спорные рейтинги в один

Ученые из Университета Райса и Корнеллского университета разработали статистический метод, который позволяет объединять противоречивые рейтинги из разных источников. Исследование опубликовано в Journal of Quantitative Analysis of Sports. 

«Рейтинги кажутся простыми только на первый взгляд, но с точки зрения статистики они очень сложны, — сказала Роуз Грейвс, аспирантка кафедры статистики Университета Райса и автор исследования. — Два эксперта могут оценивать разное количество объектов, не соглашаться с порядком или менять свое мнение со временем. Мы хотели создать способ объединить всю эту информацию и одновременно учесть неопределенность».

Как объединить разные рейтинги

Метод получил название BMRR — байесовская мультивариантная ранговая регрессия (Bayesian Multivariate Rank Regression). Он рассматривает каждый отдельный рейтинг не как готовый вердикт, а как один из кусочков информации об общей оценке объекта. Дальше система сопоставляет данные из разных источников и на их основе рассчитывает общий результат.

При этом BMRR не просто усредняет позиции из разных списков. Если, например, человека включили в один рейтинг, но не включили в другой, метод учитывает и такое отсутствие — это тоже значимая информация. Кроме того, система умеет работать с одинаковыми позициями (когда несколько объектов делят одно место) и сравнивать рейтинги за разные годы между собой.

В итоге получается не просто финальный список мест. Метод также показывает, насколько велика реальная разница между двумя позициями и насколько уверенно данные вообще позволяют ее установить.

Метод проверили на бейсболистах

Для проверки метода исследователи взяли рейтинги 100 лучших игроков Главной лиги бейсбола США (MLB) — их каждый год составляют издания ESPN, CBS, Bleacher Report, Yahoo Sports, а также сама лига. Ученые проанализировали списки за 2021–2024 годы и сразу увидели, что они заметно расходятся между собой. Чтобы сравнение было корректным, для анализа отобрали 55 игроков, которые попадали хотя бы в один из рейтингов в каждый из четырех лет.

Обычное усреднение таких списков рисковало смазать важные различия между источниками. Метод BMRR, напротив, позволил сохранить информацию о том, насколько сильно расходились оценки разных изданий и как эти расхождения менялись год от года.

Модель также учла возраст игроков, их базовую зарплату и показатель WAR (Wins Above Replacement) — метрику, которая оценивает общий вклад бейсболиста в победы команды по сравнению с усредненным игроком его позиции. Именно WAR оказался теснее всего связан с высокими местами в рейтинге. Молодые игроки и спортсмены с крупными контрактами в среднем тоже получали более высокие оценки.

Авторы исследования подчеркивают: на итоговые рейтинги влияют не только уже показанные на поле результаты. В них закладываются и ожидания от будущих выступлений игрока, и его общая ценность для команды.

Можно оценивать и сами источники

BMRR позволяет сравнивать не только игроков, но и авторов рейтингов. В исследовании списки MLB оказались ближе всего к общему результату модели, следом шел ESPN. Рейтинги Bleacher Report и Yahoo Sports расходились с общим результатом сильнее.

Это не означает, что один источник обязательно прав, а другой ошибается. Метод лишь показывает, насколько оценки каждого из них совпадают с общей картиной и насколько отличаются их подходы.

«Вместо вопроса о том, кто занимает первое место, этот подход позволяет спросить, насколько мы уверены в таком выводе, почему конкретный человек оказался высоко и насколько вообще согласны между собой составители рейтингов», — сказала Марина Ваннуччи, профессор статистики Университета Райса и соавтор работы.

Метод подходит не только для спорта

Исследователи проверили BMRR и на смоделированных данных. Метод особенно хорошо показал себя в ситуациях, когда разные источники оценивают только часть объектов. Это распространенная проблема, поскольку эксперты далеко не всегда составляют полный список.

Авторы считают, что такой подход можно применять и за пределами спорта. Рейтинги используют поисковые системы, аналитики, эксперты и специалисты из разных областей. Везде возникает одна и та же проблема: несколько источников составляют разные списки, и их бывает трудно свести к единому результату.

«Основные трудности при работе с рейтинговыми данными удивительно похожи в разных областях и отраслях, — отметил Дэн Ковал, бывший сотрудник Университета Райса, а теперь исследователь Корнеллского университета. — Мы считаем, что BMRR может быть полезен во многих из них, а не только в Главной лиге бейсбола».

Код метода исследователи опубликовали в открытом доступе, чтобы другие специалисты могли использовать BMRR для анализа собственных рейтингов.