Кризис репликации науки оказался серьезнее, чем считалось
Кризис репликации науки может быть хуже, чем мы думали: новое исследование показывает, что работы с воспроизведенными результатами, как правило, цитируются реже, чем те, чьи результаты не удалось воспроизвести.
Исследование опубликовано в журнале Science Advances, коротко о нем рассказывает Science Alert.
Бихевиористы Марта Серра-Гарсия и Ури Гнизи из Калифорнийского университета (США) проанализировали статьи в некоторых ведущих журналах по психологии, экономике и науке. Они обнаружили, что исследования, которые не удалось воспроизвести с момента их публикации, в среднем в 153 раза чаще цитировались, чем те, которые имели подтверждения. И влияние этих статей со временем растет.
Таким образом, больше цитирований получают исследования, которые выглядят более интересными и разнообразными, а не исследования с большим количеством доказательств.
Эта проблема репликации обсуждается учеными уже в течение нескольких лет, но последнее исследование вводит некоторые интересные новые цифры.
Команда разработчиков изучила цитаты из 139 исследований, которые были включены в три крупных проекта репликации. Проанализировав 20 252 статьи, цитирующие эти исследования в различных журналах, они обнаружили, что невоспроизводимые статьи в среднем цитируются в 16 раз чаще.
В психологических журналах было успешно воспроизведено 39% из 100 проанализированных исследований. В экономических — 61% из 18, а в журналах Nature и Science — 62% из 21.
Различия между известными журналами Nature и Science были самыми разительными: здесь невоспроизводимые статьи цитировались в среднем в 300 раз больше, чем воспроизводимые. Эти различия сохранялись даже после исключения иных факторов, таких как количество авторов статьи, число авторов-мужчин, место, язык, экспериментальные данные и область науки.
Во всех журналах и статьях в цитировании неповторимых исследований говорилось об отсутствии репликации только в 12% случаев. Однако исследователи говорят, что не только авторам статей и ученым нужно больше знать о проблеме.
«Интересные или привлекательные результаты также чаще освещаются в СМИ или распространяются на таких платформах, как Twitter, что привлекает много внимания, но это не делает их правдой», — пояснил Гнизи.
Как пример, ученые приводят печально известную ныне отозванную статью 1998 года, связывающую вакцины и аутизм. На то, чтобы отозвать эту конкретную статью, потребовалось 12 лет, и это нанесло непоправимый ущерб общественному восприятию безопасности вакцинации.
Однако отзывание статей все же имеет значение — статистика показывает, что количество цитирований отозванных статей сокращается почти на 7% в год. Возможно, это один из способов справиться с нынешним кризисом репликации.
Не так давно лаборатория НАСА объявила, что измерила тягу от двигателя, нарушающего законы Ньютона. Позже ученые из Дрездена попытались воспроизвести результаты коллег из НАСА. В итоге удалось объяснить, в чем была ошибка американских экспериментаторов и почему двигатель EM Drive действительно невозможно построить.
«Всякий раз, когда исследователи цитируют работы, которые более интересны или цитировались много раз, мы надеемся, что они проверят, доступны ли данные репликации», — заключили исследователи.
Фото: Shutterstock