Как нулевые результаты исследований двигают науку вперед
Необнаружение — тоже результат
В науке, как и в жизни, мы все отмечаем важные новости. Мы праздновали такие события, как доказательство существования черных дыр, которым являются гравитационные волны, создающие возмущения пространства-времени. Мы приветствовали фотографию тени черной дыры, исследования по редактированию ДНК и обнаружение бозона Хиггса.
Но есть то, о чем мы обычно не слышим, — это годы изнурительной, кропотливой, тяжелой работы. Зачастую она дает неубедительные результаты и, как может показаться, не приводит никаких доказательств по вопросам, которые задают ученые. Но, постепенно преодолевая ограничения, эта работа все больше приближает нас к поиску ответов и новым открытиям.
Необнаружение, или нулевой результат, — это то, без чего прогресс науки не мог бы состояться. Именно нулевые результаты двигают нас вперед. Они удерживают нас от повторения одних и тех же ошибок и определяют направление будущих исследований. На самом деле мы многому можем научиться через это самое «ничто». Однако зачастую нулевые результаты не попадают в научные публикации. Это не только может привести к значительной неэффективности научных изысканий, но и является показателем потенциально более серьезных проблем в процедуре научных публикаций.
«Мы знаем, что существует этот сильно искажающий эффект недостаточной публикации нулевых результатов, — рассказал сотрудник Бристольского университета, психолог Маркус Мунафо. — Решить эту проблему непросто, потому что очень легко получить нулевой результат, проведя неудачный эксперимент. Если бы мы наводнили научную литературу еще большим количеством нулевых результатов, генерируя исследования низкого качества, это не обязательно помогло бы решить фундаментальную задачу, которая в конечном счете заключается в получении правильных ответов на важные вопросы».
Определение проблемы
Публикация нулевых результатов может быть действительно полезна. В некоторых областях, таких как космология и астрономия гравитационных волн, она помогает ученым корректировать параметры будущих экспериментов. Наглядный пример тому — обнаружение гравитационных волн с помощью лазерной интерферометрии. Сигналы, создаваемые гравитационными волнами, очень слабые, и существует множество источников шума, которые могут повлиять на датчики LIGO. Обнаружение стало возможным лишь после того, как эти источники были окончательно исключены.
Если эти источники нельзя исключить, это тоже нулевой результат. Это не означает, что гравитационные волны не были обнаружены, а лишь говорит о том, что мы не можем с уверенностью установить, что мы их действительно обнаружили.
В других областях, где результаты обычно бывают качественными, а не количественными, нулевые результаты ценятся меньше. «Во многих областях бихевиоральной и медицинской науки проблема заключается в том, что мы не можем делать количественные прогнозы», — объяснил Мунафо.
Бихевиоральные науки (от английского behavioral science) — это науки о поведении людей и социальных групп, и в них исследования ведутся несколько по-другому. «Мы просто ищем свидетельство того, что существует какой-либо эффект или ассоциация независимо от масштаба проблемы, которую они создают, — объясняет психолог Мунафо. — Если мы не нашли данных о наличии эффекта, значит, мы не можем определить никаких свидетельств того, действительно ли такой небольшой эффект является актуальным вопросом — биологическим, теоретическим, клиническим. Мы ничего не можем с этим поделать».
Экстраординарное ничто
При правильном использовании нулевой результат может привести к некоторым экстраординарным выводам. Одним из наиболее известных примеров является эксперимент Майкельсона — Морли, проведенный физиками Альбертом А. Майкельсоном и Эдвардом У. Морли в 1887 году. Пара ученых пыталась определить скорость нашей планеты относительно светоносного эфира — среды, через которую, как они предполагали, проходит свет, подобно тому как волны проходят через воду.
Они выдвинули гипотезу о том, что по мере движения Земли в космосе встречные волны света, проходящие через неподвижный океан эфира во всей Вселенной, будут двигаться с несколько иной скоростью, чем те, которые расходятся под прямым углом. Эксперименты ученых были изобретательными и кропотливыми, но, разумеется, они не обнаружили ничего подобного. Нулевой результат показал, что скорость света была постоянной во всех системах отсчета, что впоследствии объяснил Эйнштейн своей специальной теорией относительности.
В ряде случаев нулевые результаты могут помочь разработать приборы и будущие эксперименты. Обнаружение сталкивающихся черных дыр с помощью гравитационных волн произошло только после того, как годы безрезультатных исследований позволили усовершенствовать конструкцию интерферометра гравитационных волн. Находясь в ЦЕРН, физики так и не уловили сигнал темной материи в экспериментах по столкновению частиц, что позволило сузить поиски рядом новых ограничивающих параметров.
«Нулевые эксперименты — это лишь часть полного спектра наблюдений, — говорит астрофизик Джордж Смут III из Калифорнийского университета в Беркли. — Иногда вы видите что-то новое и удивительное, а иногда видите, что ничего нет».
Когда речь идет о точных расчетах, нулевые результаты зачастую легче интерпретировать. В других областях может быть меньше поводов для публикации.
Последствия необнаружения не всегда ясны, и исследования, в которых делаются действительно важные выводы, получают больше внимания, больше финансирования и чаще цитируются. Клинические испытания с положительными результатами с большей вероятностью будут опубликованы, чем испытания с отрицательными или нулевыми результатами. Когда дело доходит до принятия решения о том, кто получит исследовательский грант, эти факторы имеют значение.
Ученые тоже очень занятые люди, и у них есть множество потенциальных направлений для исследований. Зачем гоняться за нулевой гипотезой, когда можно использовать свое время для проведения исследований, которые с большей вероятностью будут замечены и приведут к дальнейшим исследовательским возможностям?
Опубликовать или аннулировать
Непубликация результатов — это не только упущение важного контекста, который мог бы помочь нам узнать что-то новое о мире, но и фактор, который может снизить эффективность работы у молодых ученых и отбить у них охоту делать карьеру, как выяснил Маркус Мунафо на собственном опыте. Будучи молодым аспирантом, он приступил к воспроизведению эксперимента, который выявил определенный эффект, и думал, что его результаты будут такими же.
«И это не сработало. Я не обнаружил такого эффекта в своем эксперименте, — рассказал Мунафо. — Начинающий исследователь может подумать: "Должно быть, я сделал что-то не так, возможно, я не создан для этого". Мне посчастливилось столкнуться со старшим научным сотрудником, который сказал: "О да, никто не смог повторить это открытие". Если вы достаточно долго работаете в этой области, то узнаете об этом из бесед на конференциях, из собственного опыта и т. д. Но вы должны оставаться в науке достаточно долго, чтобы понять это. Если вам не повезет и никто не скажет вам, что это не ваша вина, а просто само открытие довольно сомнительное, вы можете в конечном итоге покинуть поле боя».
Академические издательства также борются с этой проблемой. В 2002 году был создан уникальный проект «Журнал отрицательных результатов в биомедицине» для поощрения публикации результатов, которые в противном случае могли бы не увидеть свет. Он закрылся в 2017 году, заявив, что преуспел в своей миссии, поскольку многие другие журналы последовали его примеру, опубликовав больше статей с отрицательными или нулевыми результатами.
Однако стремление ученых обнародовать свои отрицательные результаты иногда может оказаться почти бесполезным. В этом есть потенциал для избытка плохо продуманных, плохо разработанных, плохо проведенных исследований. Но возможно и обратное.
В 2014 году «Журнал бизнеса и психологии» опубликовал специальный выпуск с нулевыми результатами и получил на удивление мало материалов. Редакторы пришли к выводу, что это может быть связано с тем, что сами ученые привыкли считать, что нулевые результаты ничего не стоят. В 2019 году Берлинский институт здравоохранения учредил премию за повторные исследования, открыто приветствуя нулевые результаты, но получил только 22 заявки.
Этот подход может измениться, и мы уже видели, что это происходит. Например, американский астрофизик Джордж Смут почерпнул много информации из нулевых результатов. «Поиск античастиц в космических лучах — это был нулевой эксперимент, который убедил меня в том, что в нашей Галактике не было серьезного количества антивещества, хотя между материей и антивеществом была большая симметрия», — сказал Смут.
Следующий нулевой эксперимент проверял нарушение углового момента и вращения Вселенной. «Нулевой результат очень важен для нашего мировоззрения и космологии, и это было моей первоначальной мотивацией использовать космическое микроволновое фоновое излучение для наблюдения и измерения Вселенной, — рассказал астрофизик. — Это привело к большему количеству нулевых результатов, но также и к некоторым крупным открытиям».
По словам Маркуса Мунафо, нужно быть осторожными, чтобы не сделать публикацию нулевого результата самоцелью. Нулевые результаты — это средство достижения цели, если они помогают нам найти правильный ответ, но для этого нужно нечто большее, чем просто публикация нулевых результатов, считает специалист: «В конечном счете нам нужны лучше сформулированные вопросы и более продуманные исследования, чтобы наши результаты были надежными и информативными независимо от того, каковы они. Важно получить правильный ответ на правильный вопрос».
Источник: Science Alert
