Наука переживает период турбулентности: устоявшиеся принципы организации научной работы постоянно подвергаются улучшению и совершенствованию, появляются новые форматы доступа к научному знанию и результатам исследований, возникают новые подходы распространения информации и обучения (например, массовое онлайн-обучение), обсуждаются новые варианты рецензирования научных работ. Большая часть этих процессов происходит под флагом «движения за открытую науку».
Но что такое «открытая наука»? Это собирательный термин, который включает разнообразные инициативы, цель которых — повышение качества научных исследований. Среди таких инициатив — движение за открытые данные, открытое программное обеспечение для исследований, открытые публикации и многое другое1.
Препринты начинают и выигрывают
Исторически одной из первых целей движения за открытую науку стало обеспечение свободного доступа к научному знанию. Многих не устраивало, что коммерческие издательства (такие, как Elsevier или Springer) извлекали огромную прибыль из публикаций научных статей — в среднем за одну статью они просили около 30–40 долл. Когда люди захотели изменить эту ситуацию, стали появляться полулегальные сервисы2, с помощью которых статьи этих издательств можно было скачивать бесплатно. Другим вариантом решения проблемы стало появление сервисов типа arXiv.org, где авторы могли свободно выкладывать препринты собственных статей. Сервис arXiv.org изначально развивался в среде математиков и физиков, но в последние годы распространился и на другие дисциплины: биологию, психологию3.
Проблема доступа к знаниям обсуждалась и более официально. На профессиональных академических конференциях появлялись круглые столы, посвященные поиску того, как можно исправить дело. Надо сказать, что усилия ученых не прошли бесследно — совсем недавно Евросоюз принял так называемый план S, согласно которому к 2020 году в Европе должна радикально измениться система научной коммуникации и публикации статей4.
Доступ для всех
Конфронтация с издательствами стала важным доказательством того, что общественные инициативы ученых могут влиять на происходящее. В борьбе за свободные публикации приверженцы открытой науки начали осознавать, что и многие другие составляющие научной работы должны быть более доступны. В первую очередь это касается организации доступа к собираемым учеными данным (хотя концепция открытого доступа к данным начала формулироваться и раньше, в конце 1960-х). Для поддержки подобных инициатив сейчас проходят международные мероприятия — среди таких инициатив ежегодный День открытых данных5, в 2019 году он проходил 2 марта. Очень важно также отметить движение в сторону обязательного депонирования данных в открытых источниках: например, некоторые российские журналы в области биологии и генетики, по примеру аналогичных англоязычных журналов, требуют от авторов выкладывать первичные данные генетических исследований в открытые базы данных типа NCBI6.
Не пытайтесь повторить в домашних условиях
Среди проблем, активно обсуждаемых в рамках представлений об открытой науке, одной из важнейших можно считать проблему воспроизводимости научного знания. Это не новая для науки проблема. Еще в XVII веке Роберт Бойль в споре с Томасом Гоббсом ссылался на воспроизводимость результата как на основной критерий получаемого результата. В ХХI веке одним из первых о проблемах воспроизводимости вновь заговорил медицинский статистик Джон Иоаннидис (J. Ioannidis), опубликовавший в 2005 году статью с названием“Why most published research are false”7. Он показал, что большинство публикуемых в настоящее время данных в области медицины часто не воспроизводятся в независимых исследованиях. Позже этот результат был подтвержден на практике компанией Bayer, которая сообщила, что в своих лабораториях не смогла воспроизвести примерно 2/3 из 67 исследований в сфере биотехнологий, опубликованных в рецензируемых журналах с высоким рейтингом8.
В начале 2010-х годов группа исследователей-психологов под руководством Брайана Нозека запустила проект по воспроизведению сотни отобранных экспертами психологических исследований. В 2015 году эта инициатива завершилась резонансной и неутешительной публикацией9. Авторам не удалось воспроизвести больше половины из выбранных экспериментов, а в половине воспроизведенных работ размер полученных эффектов был примерно вдвое меньше, чем в оригинальных публикациях.
Болезнь века
С точки зрения исследователей, придерживающихся принципов открытой науки, проблема воспроизводимости — системная болезнь существующей организации научной работы. Развитие этой болезни связывают с ростом во второй половине XX века числа ученых и появлением многочисленных институтов, где наука существовала отдельно от высшего образования. Сложившаяся система поддержки исследований с помощью грантов и выход на первый план публикационной активности как мерила качественности научной работы привели к движению по кругу: «грант — сбор материала — исследование — публикация — грант».
У проблемы воспроизводимости можно выделить четыре основных предпосылки. Первая и наиболее важная — это так называемый публикационный сдвиг (publication bias) — стремление журналов публиковать в первую очередь (или исключительно) результаты тех работ, где получены положительные результаты, т. е. где авторы смогли подтвердить выдвинутую ими гипотезу. Следующая проблема — p-hacking — набор методов «взлома» статистических выводов в рамках парадигмы проверки гипотез, т. е. «манипуляций с данными и расчетами для достижения формальной статистической значимости результатов». Далее следует HARKing — что буквально означает «выдвижение гипотез, когда результаты известны» (Hypothesis After Results are Known — HARK): подведение гипотез своего исследования к получившимся результатам, что ведет к искажению интерпретации статистических выводов10.
На последнем месте стоит проблема низкой статистической мощности экспериментов, характерная для большинства исследований, в которых данные получены в работе с живыми организмами. Эти упущения могут быть как частью сознательного обмана, к которому, к сожалению, прибегает значимая часть исследователей11, так и частью неотрефлексированных ошибок в анализе данных. Однако в любом случае все они ведут к снижению адекватности и достоверности получаемых в научной работе выводов.
Важно отметить, что многие из этих проблемных мест современной науки сложились и были отмечены в том или ином виде еще в 1970-е годы. Так, к вопросу о publication bias, также называемом file drawer problem, обращается Стерлинг12; проблеме недостатка статистической мощности большого числа исследований посвящена классическая работа Коэна13; экономические и политические мотивы увеличения числа публикаций в ущерб надежности результатов раскрывает в своем эссе Форшер14; развивает эту мысль Мил в тексте о хорошо публикуемых неожиданных, порой контринтуитивных анекдотических результатах15; о проблеме применения индукции в научных работах и слабом теоретическом обеспечении пишет Платт, и, наконец, Лайккен16, обобщая многое из перечисленного, еще в 1968 году заявил о необходимости внимания к методологии, о бессмысленности статистических выводов per se, в отрыве от научного процесса, и обозначил потребность науки в репликации ключевых исследований17.
Новый век
Одним из результатов многочисленных дискуссий о проблеме воспроизводимости научного знания стало появление нового формата научных публикаций. По-английски этот формат получил название preregistered studies. В качестве кальки с английского в русском языке этот формат часто называют «пререгистрированные исследования», хотя нам кажется более удачным термин «заявленные исследования».
Заявленные исследования — попытка одновременно решить все четыре проблемы. Суть этого подхода заключается в изменении способа взаимодействия журнала и автора. Если в классическом варианте автор посылает в журнал уже готовую работу, которая затем рецензируется независимыми экспертами, то в случае заявленных исследований этап рецензирования происходит раньше — на этапе планирования эксперимента. Кроме обоснования актуальности и новизны исследования, рецензированию подвергается дизайн эксперимента, размер выборки, количество повторностей и планируемая статистическая обработка данных. Если эксперты оценивают эти пункты как соответствующие поставленной цели и отвечающие нормам данной области знания, журнал выдает авторам «принципиальное согласие на публикацию» (in-principle-acceptance), т. е. обещание напечатать статью, если работа будет проведена в соответствии с принятым планом. В таком случае и у авторов, и у журналов пропадает необходимость публиковать работы только с положительными результатами (снижение публикационного сдвига), все гипотезы выдвинуты заранее (исчезает HARKing), процедура анализа утверждена — т. е. остается меньше возможностей для p-hacking, повышается статистическая мощность исследований.
Конечно, работа часто выходит за границы заранее намеченного плана и может требовать и нового сбора данных, и новых методов анализа. Формат заявленных исследований не предполагает, что никаких изменений по ходу работы над статьей вносить нельзя. Выходящие за план исследования пункты также включаются в статью, только уже в отдельном пункте — «эксплораторное исследование». Его результаты могут оказываться даже важнее основной части. Но подчеркивается их предварительность — т. е. необходимость перепроверить результаты в отдельном исследовании, которое также может быть выполнено в формате заявленной работы.
Практическое применение
Сегодня публикации в форме заявленных исследований доступны уже более чем в ста международных журналах (полный список регулярно обновляется18). В 2018 году вместе с другими инициативными учеными мы попробовали претворить этот формат в жизнь и в российском журнале. Третий выпуск журнала «Теоретическая и экспериментальная психология» за 2018 год был целиком посвящен именно такому типу исследований. Подготовка специального выпуска состояла из нескольких этапов. Выпуск рекламировался в соцсетях, на профильных мероприятиях (школах, конференциях) и с помощью рассылок внутри профессиональных сообществ. К участию приглашались ученые, занимающиеся психологическими исследованиями. Первоначальную заявку на участие в проекте подали около 30 команд. На первый этап — слепое рецензирование текстов заявок — было подано 15 работ. На втором этапе авторам заявок, получивших рецензии (и изменивших в соответствии с ними свои первоначальные планы), было дано примерно полгода на проведение исследований. В итоге из 15 заявок только восемь коллективов предоставили результаты исследований, которые и были опубликованы в данном выпуске.
Ценность таких работ, опубликованных в экспериментальном формате, покажет только время и будущая оценка со стороны научного сообщества. Однако уже сейчас видно, что этот подход дает исследователям как минимум бо́льшую свободу заявлять о своих неудачах. Из всех проектов, реализованных авторами спецвыпуска, примерно 50% результатов оказались отрицательными (что вполне согласуется с представлениями о наличии публикационного сдвига). Возможно, это позволит сэкономить время будущим исследователям, которым не придется наступать на кем-то уже проверенные грабли. Но главное, что таким образом процесс получения знания становится более прозрачным и честным.
Ученые всех стран, объединяйтесь!
Хотя заявленные исследования ведут к увеличению количества исследований, гипотезы которых не подтверждаются, в целом принципы открытой науки дают вполне положительные результаты. Так, например, опубликованные статьи с открытым доступом коррелируют с количеством цитирований19, а еще такие статьи привлекают больше внимания медиа20. Публикация статей в виде препринтов может приводить к более тщательному анализу слабых областей исследований и тем самым улучшать их качество. Кроме того, практики открытой науки помогают увеличить воспроизводимость исследований и формировать горизонтальные научные связи между учеными21. Некоторые апологеты этого движения даже считают, что открытая наука повышает творческий потенциал ученых, освобождая их от жестких рамок современной научной бюрократии22.
Мы верим, что принципы открытой науки могут оказаться полезными для ученых с очень разными задачами и бэкграундом. Этой статьей мы предлагаем объединяться тем, кто верит в этот принцип. Осенью 2019 года планируется проведение серии встреч, посвященных развитию инициатив открытой науки среди ученых в России. Хотите участвовать в таких встречах — пишите на [email protected].
Илья Захаров, cт. науч. сотр. Психологического института РАО;
Илья Гордеев, ст. науч. сотр. ВНИРО, МГУ им. Ломоносова;
Тимофей Чернов, ст. науч. сотр. Почвенного института им. Докучаева
1 Munafò M. R., Nosek B. A., Bishop D. V. M., Button K. S., Chambers C. D., Percie du Sert N.,… Ioannidis J. P. A. A manifesto for reproducible science // Nature Human Behaviour. 2017. Vol. 1(1). 0021 — doi.org/10.1038/s41562-016-0021.
2 Напр. sci-hub.se, gen.lib.rus.ec, unpaywall.org
4 trv-science.ru/10-principov-plana-s-eu/
7 Ioannidis J. P. A. Why most published research findings are false // PLOS Medicine. 2005. Vol. 2(8). e124 — doi.org/10.1371/journal.pmed.0020124
8 Prinz F., Schlange T., & Asadullah K. Believe it or not: how much can we rely on published data on potential drug targets? // Nature Reviews Drug Discovery. 2011. Vol. 10(9). P. 712 — doi.org/10.1038/nrd3439-c1
9 Collaborators (270). Open Science Collaboration. Estimating the reproducibility of psychological science // Science. 2015. Vol. 349(6251) — doi.org/10.1126/science.aac4716
10 Kerr N. L. HARKing: Hypothesizing after the results are known // Personality and Social Psychology Review. 1998. Vol. 2(3). P. 196–217 — doi.org/10.1207/s15327957pspr0203_4
doi.org/10.1037/gpr0000128
11 Rubin M. When does HARKing hurt? Identifying when different types of undisclosed post hoc hypothesizing harm scientific progress // Review of General Psychology. 2017. Vol. 21(4). P. 308–320 — doi.org/10.1016/j.tics.2014.02.010
12 Ioannidis J. P. A., Munafò M. R., Fusar-Poli P., Nosek B. A., & David S. P. Publication and other reporting biases in cognitive sciences: detection, prevalence, and prevention // Trends in Cognitive Sciences. 2014. Vol. 18(5). P. 235–241 — doi.org/10.2307/2282137
Sterling T. D. Publication decisions and their possible effects on inferences drawn from tests of significance — or vice versa // Journal of the American Statistical Association. 1959.Vol. 54(285).P. 30–34 — doi.org/10.1037/0033-2909.86.3.638
13 Rosenthal R. The file drawer problem and tolerance for null results // Psychological Bulletin. 1979. Vol. 86(3). P. 638–641 — doi.org/10.1037/h0045186
14 Cohen J. The statistical power of abnormal-social psychological research: A review // The Journal of Abnormal and Social Psychology. 1962. Vol. 65(3). P. 145–153 — doi.org/10.1126/science.142.3590
15 Forscher B. K. Chaos in the Brickyard // Science. 1963. Vol. 142(3590). P. 339 — doi.org/10.1086/288135
16 Meehl P. E. Theory-testing in psychology and physics: A methodological paradox // Philosophy of Science. 1967. Vol. 34(2). P. 103–115 — doi.org/10.1126/science.146.3642.347
17 Platt J. R. Strong Inference: Certain systematic methods of scientific thinking may produce much more rapid progress than others // Science. 1964. Vol. 146(3642). P. 347–353 — doi. org/10.1126/science.146.3642.347.
Lykken D. T. Statistical significance in psychological research // Psychological Bulletin. 1968. Vol. 70(3). P. 151–159.
19 McKiernan E. C., Bourne P. E., Brown C. T., Buck S., Kenall A., Lin J.,… & Spies J. R. Point of view: How open science helps researchers succeed // Elife. 2016. 5. e16800.
20 Adie E. Attention! A study of open access vs non-open access articles // Figshare. 2014.
21 Allen C., & Mehler D. M. Open science challenges, benefits and tips in early career and beyond // PLoS biology. 2019. 17(5). DOI: 10.1371/journal.pbio.3000246.
22 Frankenhuis W. E., & Nettle D. Open science is liberating and can foster creativity // Perspectives on Psychological Science. 2018. 13(4). P. 439–447.
Хорошо, что это обсуждается, но не со всем стоит соглашаться — оно годится не для всех отраслей
Согласен с Вами. Универсальные рецепты ка правило исходят от людей с весьма незначительным научным кругозором.
«Подвергаются улучшению и совершенствованию» — это прекрасно. Стало быть, раз я/ты/он этого не замечают…
Турбулентность не та среда, в которой можно всерьез говорить о направлении движения.
Честно говоря, мне вообще не понятно, причем тут журналы и воспроизводимость. Она зависит не от того, где и как ты что то опубликуешь, а от организации самого научного процесса и сообщества. Например, у нас в археологии пока не будет открыт свободный доступ к коллекциям и отчетам, даже говорить о чем то похожем не имеет смысла, и никакой экспертизы объективной невозможно, не то что перепроверки выводов. А причем тут журналы, вообще не догоняю
В статье примеры из тех областей знания, где традиционно проблемы с воспроизводимостью.
По моему глубокому убеждению это тот случай, когда лекарство хуже болезни. В моей области любят говорить, что когда работа закончена, становится ясно, как ее надо было делать с самого начала. Обычно исследование ведется пошагово, то есть результаты одних экспериментов определяют дизайн следующих. Как можно заранее знать объем выборки? Иногда эффект очевиден, и хватает пяти опытов. А если объект ведет себя сложным образом, надо ставить сотню опытов.
Но это еще цветочки. Принципиальный порок предлагаемого подхода в том, что исчезает нацеленность на результат вообще. Если план утвердили, становится неважно, что вообще получится. И можно совсем ничего не делать, написать любую лабуду и сделать вывод, что ничего особенного не вышло. Зато статья в кармане. Все равно отрицательный результат никто перепроверять не станет. А даже если станет, я не виноват. Это рецензенты план утвердили.
Это вообще классический стиль бюрократии. Главное — план работ и смета. Утвердили, деньги освоили, а что там на самом деле было и что на выходе получилось, никому не интересно.
На самом деле современная система вполне сбалансирована. Заявленное исследование — это же грант в классическом виде. Он именно так пишется и оценивается. Но это на входе. а на выходе все-таки результат, который оценивают редакторы и рецензенты в журналах. И это создает некий баланс. Авторы идеи предлагают результат просто убрать из рассмотрения. Спасибо.
«Как можно заранее знать объем выборки? » Элементарно, объем выборки может браться косвенно (ошибка первого/второго рода не более такой-то величины, общий объем выборки не менее такой-то). «Обычно исследование ведется пошагово, то есть результаты одних экспериментов определяют дизайн следующих. » каждое исследование — отдельный результат (статья). Проблема решена. «Если план утвердили, становится неважно, что вообще получится. И можно совсем ничего не делать, написать любую лабуду и сделать вывод, что ничего особенного не вышло.» Во-первых, лабуду можно писать и без утверждения (так и делают многие), во-вторых, в процессе анализа требуется проверить и ценность результата. Зачем делать исследование, коль на выходе лабуду. В-третьих, «… если исследование выполнялось как было заявлено»…
Флаг в руки решать такие проблемы и писать такие статьи. У ученых обычно хватает и научных проблем. Не вижу абсолютно никакого смысла в двойном бумагомарании. Сначала писать план, потом по нему отчет-статью. Особенно если нет результата. ИМХО, такое может быть интересно тем, у кого дефицит научных результатов.
Формат «preregistered studies» выглядит все же очень неоднозначно. Согласен с комментариями выше – такой подход будет слабо ориентирован на положительный результат. Сейчас наука больше ориентирована на положительный результат, что порождает издержки (вплоть до намеренных искажений), но, одновременно, заставляет искать решение (оценивать проблему с разных сторон, модифицировать гипотезы и методы проверки и т.д.). А система «preregistered studies» будет ориентирована скорее на формальное следование заявленному; т.е. слабеет мотивация что-то корректировать, предварительно проверять десятки вариантов экспериментов, пока не найдешь рабочий… По-крайней мере, если результат работы в фундаментальной области – по-прежнему, научная статья (и это важный фактор для получения финансирования), то статьи можно будет получать просто предлагая красивый и обоснованный план, а затем – последовательно его выполняя, пусть даже будет видно, что это ни к чему не ведет.
В результате, вероятно, уменьшится количество преднамеренных и непреднамеренных искажений. Зато вырастет количество «пустой» работы. Понятно, что «отрицательный результат, тоже результат». Но если таких результатов станет слишком много, такого рода работы оттянут на себя большое количество ресурсов и будут скорее замедлять развитие науки. На мой взгляд, получается дилемма – либо все развивается быстро, но со значительными издержками и искажениями, либо с высокой степенью надежности, но намного медленнее.
Есть еще один важный момент. Формат «preregistered studies» почти наверняка обрежет возможность для исследований, выходящих за принятые рамки. Например, длительное время эффект малых доз радиации был слабо исследованным. Казалось бы – построили дозовую кривую, дошли до отсутствия эффекта, какой-либо необходимости исследовать влияние более низких доз нет. Однако временами появлялись работы, где эту область исследовали. Такие работы воспринимались скептически, но все равно – иногда они проходили и постепенно меняли общие представления. Проходили потому, что обоснование – зачем исследовать этот диапазон – могло быть не очень убедительным, но наличие эффекта придавало исследованию определенный «вес». Если бы действовал принцип «preregistered studies», то такие исследования просто бы не пропускались рецензентами, причем вполне оправданно (трудно обосновать исследования в области, где эффекта вроде как быть не должно).
Таким образом, «preregistered studies» выглядит весьма опасным лекарством…
И еще мне совершенно непонятно, зачем эта морока самому ученому. Если человек нормально ведет исследования и получает приличные результаты, для него все эти заявленные исследования — просто лишний геморрой и дополнительные ограничения.
А цель здесь, похоже, и не ученый. Скорее попытка придумать идеальные правила, направленные на то, чтобы любой ценой исключить осознанную или неосознанную некорректность исследований. Тут мне кажется – есть развилка в понимании, что ключевое в науке: минимизация риска, что кто-то сделает что-то некорректно или все-таки развитие, получение положительного результата (с закономерными издержками – в виде риска некорректных вещей).
Здесь интересно взглянуть с точки зрения людей вне науки. Конечно, им не нужны неадекватные результаты; но получение новых положительных результатов с перспективами прикладного применения – такое даже очень нужно. А вот создание системы, где можно тратить ресурсы, стабильно получая отрицательные результаты…. Какая польза от этого людям не из науки – непонятно. А именно эти люди и платят налоги…
Эти идеи (пардон) типичны для леваков-социалистов. Корень описываемых ими вполне реальных проблем в конкурентности науки. Да, во всех конкурентных сферах не все играют по правилам fair play. Или по-разному их понимают. Лево-социалистический подход к решению таких проблем в том, чтобы убить саму конкурентную среду.
Но после убийства конкурентной среды — возникает застой, а не идеальная среда для развития науки. Хорошо вижу на примере университета, где работаю. Значительное число неглупых людей годами доводят до идеала ту или иную работу. При этом не пытаются публиковаться в приличных журналах, ибо сложно и «недостаточно уверены в надежности своих результатов».
И возникает парадоксальная ситуация — довольно-таки неуклюжие действия министерства и университетского руководства, направленные на то, чтобы заставить активнее публиковаться — играют благую роль: заставляют людей как-то выйти из «башни из слоновой кости» и воплотить результат в публикацию.
100% согласен. Отсутствие конкуренции убивает научный поиск и способствует только росту пустой работы по типу план-отчет. От этих пустых работ с бесконечным пережевыванием одного и того же уже тошнит. Борьба за результат и признание оного всегда сопряжена с известными издержками. Но тут результат в конечном итоге хоть появляется.
Здесь вот еще какой фактор. Распределение рисков и пряников. Когда ученый затевает какое-то исследование, он понимает, что в случае успеха это будет его результат и он получит с этого причитающиеся пряники. Но если ничего не выйдет, его работа уйдет в мусор. Предлагаемая модель перекладывает риски на редакторов и рецензентов. А ученый все равно свою статейку получит. Редакторам оно надо? В этом режиме они будут брать только те планируемые работы, где результат гарантирован. Но с публикацией таких работ и сейчас нет проблем.
Denny, мне вспоминаются Ваши тезисы о том, что бюрократия сама по себе не может эффективно решать сложные проблемы, в том числе научные.
И здесь происходит то же самое: главная цель, а именно проверка альтернативных гипотез, спорных моментов и новых подходов, плавно утекла сквозь пальцы. Анализируем, составляем план и публикуемся по нему. А неожиданные и спорные результаты, возникающие во время исследований, будут отбрасываться с еще большим рвением, чем при действующей системе. Мол, по плану не входит, а затягивать и ковыряться смысла нет.
Присоединяюсь к предыдущим комментаторам — Владимиру, Denny и Tony.
Согласен с резюме Алексея В.Лебедева
Очень интересная статья. И по-моему, актуальная. Научные журналы, действительно, озаботились проблемой воспроизводимости данных. Мы недавно столкнулись с требованиями журнала поместить полученные данные в открытом репозитории. И предложением и опубликовать репринт статьи. Более того, есть публикации типа «10 способов (принципов) сделать ваши даные открытыми)».
Спасибо всем большое за комментарии к статье!
Хочется на них ответить, чтобы картина получилась более полной. Во-первых, конечно, формат preregistered Studies не для всех областей подходит, в разных сферах будут свои особенности. Но уверен, что в тех областях, которые касаются не только психологии, но и биологии и медицины — это полезное дело (именно поэтому у статьи авторы из трех разных областей).
Во-вторых, про то, что не все возможно предсказать заранее. Все, конечно, невозможно, но вот как раз размер выборки оценить можно, для этого существуют разные подходы, в которых на основании или предыдущих данных, или экспертных оценок это сделать как раз можно и для этого есть доступные для исследователей инструменты (например, автоматический калькулятор мощности GPower — http://www.gpower.hhu.de/). В-третьих, стоит еще уточнить, что формат не запрещает делать ничего сверх заявленного заранее. Это допустимо, и даже может быть необходимо, но должно быть описано в отдельной части статьи, которая будет называться exploratory study/analysis. Там можно описать любые вещи, которые стали понятны только в ходе работы и анализа. Разделить preregistered и exploratory как раз и стоит для того, чтобы в будущих исследованиях неожиданно сработавшая часть была перепроверена. Ну и про то, что пропадет нацеленность на результат — кажется, такая проблема есть и сейчас, когда для большого количества ученых (и фондов) результат — это в первую очередь публикация статьи, а не реальное научное знание или технология.
В любом случае, спасибо всем за критические замечания! Если кому-то будет интересно продолжить обсуждение — мы планируем осенью организовать оффлайн-встречи, где это можно будет сделать, как раз с учетом специфики разных областей науки, особенностей занятий наукой в России и т.п.
Дело не в области науки (я сам биолог). Дело в направленности конкретного исследования. Предлагаемый формат подходит для ОПИСАТЕЛЬНЫХ работ. Когда надо, точно следуя методике, описать некоторый круг явлений. Систематически набрать и обработать большой материал. Такие работы, несмотря на неказистый вид, бывают очень полезны. Ценность таких работ не в новациях, а именно в масштабе и системности. Возможно, предлагаемый подход к публикациям займет эту нишу, в которой действительно работать тяжело. ИМХО, было бы неплохо журналам иметь такую секцию, одна-две статьи в номере.
Но вот для аналитических и поисковых работ это не годится. От слова совсем.
Я абсолютно согласен, что это не формат на все случаи жизни. Но в нашей сфере он кажется очень подходящим как раз для поисковых работ, потому что мотивирует исследователей более корректно и подробно описывать, как именно поиск происходил. К тому же, такой формат может помочь фиксировать, как именно уже пробовали искать и не получилось, чтобы люди не наступали на грабли, на которые кто-то уже наступил.
Поисковая работа, в которой ничего не нашли — это и есть описательная работа. ИМХО, Вы просто не видите, как это будет работать на практике. На практике, если ввести такую обязаловку, люди будут просто составлять «план» заявки по уже выполненной работе. То есть будут делать просто двойную работу.
Это если исследователи захотят получать смысловой результат. Или хуже — будут писать план работ, заведомо понимая, что скорее всего ничего не получится. Если какой-то положительный результат с них требовать не будут.
Сейчас иаенно такая ситуация с грантами рффи и рнф. Составляется по уже выполненной работе. Иначе эксперты скажут… да у ниъ же нет задела
Ну я бы не стал смешивать задел и написание результатов в заявке по уже выполненной работе.
Задел — означает, что у исследователя есть опыт работы в близкой сфере. Причем степень близости может варьировать. В принципе — задел может быть не так уж велик, задел может быть — в несколько других областях. В конце концов — задел демонстрирует не только, что сделано по этой конкретной теме, но скорее — насколько исследователи успешно работают в области, так или иначе связанной с заявленной темой, насколько получают публикабельные результаты.
А писать план работ по уже выполненной работе — это другое. Тут обратная ситуация — если есть выполненные работы, которые планируется включить в результаты гранта — то их точно не нужно в задел. Ну и делают так (далеко не все и не всегда) — скорее для надежности, чтобы гарантировано получить результат (в первый год или вообще). Но делать так — совершенно не обязательно.
Вот пример того, как могут выглядеть поисковые исследования в таком формате
https://www.sciencedirect.com/…/pii/S0010945217302393
И вот более подробные обсуждения этого вопроса
https://twitter.com/chrisdc77/status/1156118518464700416?s=19
Согласен с предыдущим комментарием, насчет применимости такой системы для описательных работ, а не для аналитических и поисковых работ.
Кроме того был бы интересен ответ авторов на то возражение, касающееся сильно неожиданных результатов, про которые писал выше на примере малых доз радиации.
Если кратко — есть результаты, которых вообще сложно ожидать в рамках текущей парадигмы. Например, что дозы и концентрации ниже минимально действующей на дозовой (концентрационной) кривой могут тоже действовать, причем очень по разному. До появления представления о малых дозах — это казалось скорее ересью.
Однако, если исследователь по каким-то причинам все-таки изучил эту область (мотивация может быть какая угодно, вплоть до наития, неважно) и получил результат, у него был какой-то шанс опубликоваться. Ибо результаты говорили сами за себя и могли — хотя бы в некоторых случаях — убедить рецензентов. Если же исследователь заявляет план работ, который выходит за рамки парадигмы, его закономерно отвергают. Просто потому, что строго обосновать необходимость этого — практически невозможно. Т.е. в новой системе останется лишь совсем уж отчаянно «маневрировать». Например — для малых доз — заявлять изучение в обычных дозах, потом — писать, что по какой-то причине залезли в малые — и получили результат. В рамках секции «exploratory study/analysis». Подозреваю, исследователи справятся и с этим, просто будет еще больше лукавства в логике изложения результатов (не в самих результатах, надеюсь).
Это и сейчас ересь. Воспроизводимых данных нет.
Вообще-то гормезис активно изучается, получаются результаты на разных объектах, проводятся более или менее успешные попытки мета-анализа…
Совсем «навскидку»:
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5343816/
Или еще интересный исторический обзор по дискуссии о модели действия радиации в низких дозах:
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5187834/#B97-ijms-17-02034
Ну и от себя (хотя я не специалист в этой области) — в случае эффекта с экстремумом и при наличии посредника (АФК, например), как мне кажется, с помощью достаточно простой математической модели можно показать, что эффект будет казаться слабым или отсутствующим при одном дизайне эксперимента, но будет очень хорошо виден — при другом.
В общем — утверждение про «ересь» и отсутствие воспроизводимых данных мне кажется скорее неверным.
Продублирую здесь про поисковые работы
Вот пример того, как могут выглядеть поисковые исследования в таком формате
https://www.sciencedirect.com/…/pii/S0010945217302393
И вот более подробные обсуждения этого вопроса
https://twitter.com/chrisdc77/status/1156118518464700416?s=19
А про неожиданные результаты — заявленные исследования не запрещают описывать неожиданные результаты, в данном случае акцент на том, чтобы помещать ожидаемое и неожиданное в разные части статьи. Чтобы другим исследователям было понятнее, какую часть работы имеет смысл тщательно перепроверять и воспроизводить в независимых условиях.
Просмотрел статью, на которую ссылаются в обсуждении:
https://www.sciencedirect.com/science/article/pii/S0010945219302424?via%3Dihub#tbl1
До конца не понял — в чем принципиальные отличия от обычной статьи? Только не анализируют статистическую значимость различий, особо; например, не оценивают достоверность корреляций Пирсона (хотя здесь — вроде ничего не мешает).
В общей же статье (McIntosh, 2017) — очень смутно даются контуры этих исследовательских статей. С одной стороны — все должно быть более строгим, с другой — просто высокого уровня значимости различий недостаточно и от него вообще лучше отказаться («Compelling evidence is not satisfied merely by small p-values. Indeed, conventional significance testing is arguably meaningless in the exploratory mode, and we would welcome submissions with no p values at all. Instead, we urge authors to show their data as fully as possible, using visualisation to allow the reader into the detail of the dataset (Tukey, 1970), and parameter estimation to aid confirmatory follow-ups (Cumming, 2014)»). Много подчеркивается вариативность путей получения знаний…
В общем — рецензентам таких статей — не позавидуешь; думаю, все будет еще сильнее зависеть от личных представлений о научности редактора и рецензентов. Что хорошо согласуется и с фразой из правил для авторов по такой форме статьи ( «These
guidelines are indicative only, and the criteria for publication may be weighted differently in
different cases»).
В целом же — есть некий эксперимент с форматами статей, причем с очень смутными контурами нового формата. Учитывая, что с 2017 г. — если ничего не пропустил — в том же Cortex было опубликовано 9 Registered Reports (1 — 2017, 4 — 2018, 4 — 2019 г) и 1 Exploratory Report на сотни обычных Research Reports, статистика такого эксперимента крайне ограничена. К сожалению, сейчас нет «под рукой» доступа в WoS, чтобы сравнив со статьями тех же выпусков — оценить стала лучше ли цитируемость у таких статей (для «грубой» оценки качества)? Попытался еще оценить долю Registered Reports в BMC-Biology и BMC-Medicine — там оказалось, что такой статус вообще не находится в списке статей (возможно, не указывают).
Будут ли эти экспериментальные форматы чем-то лучше классического формата — большой вопрос. В принципе — поиск новых решений — дело, возможно, имеющее смысл, но дальше все должно быть эволюционно. Если за какой-то разумный срок такие статьи окажутся в среднем более цитируемыми нежели аналогичные (в том же журнале, примерно в том же направлении), если они будут востребованы авторами — одна ситуация. А если это решение окажется неэффективным (как и большинство новых идей и решений) — другая ситуация. Возможно, впрочем, так и будет — ибо издателям вряд ли нужны форматы статей, снижающие импакт-факторы их изданий, а значит — и уменьшающие их коммерческую эффективность…
Это как раз пример того как происходит подмена понятий….
Рекламируя свои работы в социальных сетях ты больше людей привлекаешь, чем просто опубликовав статью. Они несколько лет к этому ресурсу шли. Когда увидели, что в архиве статьи перестали получать необходимый отклик… придумали другой критерий. Вот если правильные доценты упомянули какую то статью в этом ресурсе…. тогда она хорошая.
Парадоксальная ситуация возникает. Интернет вроде должен рушить границы и давать возможность открытости. Вместо этого постоянно идёт создание новых ограничений.
Постоянно появляются новые критерии оценки. Вот если там не упомянули.. то статьи нет….
Как уже говорилось — нужен фильтр. Детально разбираться со всем подряд (даже в своей, относительно «узкой» области) — не хватит времени. А журнал выполняет роль первичного фильтра. Неидеального и именно первичного, дальше оцениваешь по существу.