Надобно повторять

Как ты думаешь об этих странных опытах искусственного произведения белковины? <…> По-моему, это великое открытие, если оправдается. Ты повторял опыты? — Нет, но надобно». Так беседовали герои романа Чернышевского «Что делать?» Дмитрий Лопухов и Александр Кирсанов.

Действительно, опыты надобно повторять. Полученный результат можно считать вполне достоверным лишь тогда, когда он воспроизводится. Но кто будет заниматься такой проверкой? Немногие ученые согласятся тратить время на повторение экспериментов, поставленных другими, вместо того чтобы проводить свои собственные, да и опубликовать такую работу будет сложно: научные журналы предпочитают новые результаты.

Задача, однако, выполнима. В 2011 году 270 психологов из разных стран (Open Science Collaboration) объединили усилия, чтобы повторить некоторые исследования своих коллег и оценить воспроизводимость полученных ими результатов. Психология была выбрана вовсе не потому, что с ней происходит что-то из ряда вон выходящее. Исследователям хотелось поднять свою родную науку на качественно новый экспериментальный уровень. Объединил ученых для этой благой цели профессор психологии Виргинского университета в Шарлотсвилле (США) Брайан Носек (Brian Nosek).

Ученые воспроизвели эксперименты из 111 статей, опубликованных в 2008 году в трех психологических журналах: Psychological Science, Journal of Personality and Social Psychology и Journal of Experimental Psychology: Learning, Memory, and Cognition. Публикации 2008 года были достаточно новыми, и в то же время можно было оценить их индекс цитирования.

Исследователи выбрали эксперименты, воспроизведение которых стоило недорого, так как у проекта не было финансирования. В каждом случае группа проверяющих, специалистов в данной области психологии, повторяла эксперимент, анализировала данные и писала отчет. Анализ результатов повторяли независимые эксперты. Авторов оригинального исследования просили заверить протокол. На все эти работы ушло более трех лет.

Воспроизводимость результатов ученые оценивали по некоторым количественным параметрам, в том числе доверительному интервалу и величине эффекта, то есть количественным различиям между разными экспериментальными группами. Некоторые исследования были достаточно сложными, и количественная оценка не позволяла однозначно интерпретировать результат. В этом случае ученые учитывали субъективное мнение повторявших эксперимент о том, удалось ли им воспроизвести оригинальный результат.

Проверка показала, что величина обнаруженного эффекта часто оказывалась не столь велика, как было заявлено в оригинальных исследованиях, и результаты далеко не всегда можно было назвать достоверными. Так, различия между группами оказывались при повторе в среднем вдвое меньше, чем в оригинальных работах. Статистически достоверные результаты имели 97% оригинальных исследований, при повторе таких оказалось лишь 36%. Согласно субъективной оценке участников проекта, удалось воспроизвести только 39% экспериментов. В некоторых опытах результат не только не подтвердился, но оказался прямо противоположным. Ученые назвали несколько причин низкой воспроизводимости психологических исследований. Данные не воспроизводились, если оригинальный результат был ложноположительным. Второй важной причиной было вольное или невольное искажение результатов. Как известно, многие научные журналы предпочитают публиковать работы с выраженным положительным эффектом, и ученые стараются этим требованиям соответствовать. Величина эффекта, описанного в оригинальной статье, влияет на публикацию и отчетность, а результаты повторной работы нет.

Не исключено, что на воспроизводимость могла повлиять также и методология повторного исследования, хотя ученые приложили все усилия, чтобы свести к минимуму этот эффект. Такие факторы, как опыт и компетенция исследователя, безусловно, сказываются на результате, но в данном случае проверяющие не обнаружили влияния этих факторов.

Психологи попытались выделить критерии, позволяющие предсказать, воспроизведется ли работа. В их число вошли величина доверительного интервала, хорошее теоретическое обоснование исследования и отсутствие альтернативных объяснений полученных результатов. Результаты воспроизводились реже, если они были неожиданны или испытуемым предлагали очень сложные задания.

Авторы неповторившихся исследований отреагировали на итоги такой экспертизы по-разному. Одни заявили, что наука есть наука и в ней возможно получение ложных результатов, другие отметили, что их данные верны, чему имеются дополнительные подтверждения, по мнению же третьих, воспроизводимость в психологии не ниже той, что есть в биомедицинских исследованиях. Редакторы психологических журналов сообщили, что учли итоги такой научной проверки, но не уточнили, как именно.

Воспроизводимость результатов в психологии, по-видимому, действительно не хуже, чем в других дисциплинах. Ученые ссылаются на расчеты, согласно которым более половины научных результатов ложны, поэтому повторить их не удастся, а также на данные о том, что в двух промышленных лабораториях, работающих в области клеточной биологии, воспроизводятся только 11 и 25% первичных результатов.

Психологи подчеркивают, что итоги проведенной экспертизы отнюдь не свидетельствуют о кризисе психологии и науки в целом. Нельзя сказать, что воспроизводимость подтверждает первоначальный результат, а ее отсутствие — опровергает. Скорее, повторный эксперимент повышает доверие к полученным данным или указывает на необходимость их дальнейшей проверки. Научное знание — результат усилий множества исследователей, единственным экспериментом его не добыть.

Следовательно, эксперименты надо повторять. С одной стороны, это задача сложная, поскольку дополнительные проверки требуют финансирования. С другой, опыт сообщества психологов показал, что она решаема. Новые исследования прокладывают новые пути, а их воспроизведение помогает выбрать более подходящие, уверены авторы проекта. Прогресс же науки зависит от обоих факторов.

Open Science Collaboration. Estimating the reproducibility of psychological science // doi: 10.1126/science.aac4716.
Bohannon J. Many psychology papers fail replication test // Science. 2015. 349. P. 910–911.