Как и в предыдущем сообщении [1], мы рассматриваем ряд «показателей», извлеченных путем ручной и полуручной обработки данных Web of Science (WoS) — на этот раз для мегагрантов по физике. В Supplementary Information [2] приведены все данные (.xls) и методический комментарий о способах извлечения цифр в каждой колонке (имена колонок ниже упомянуты). Напомним обозначения: ПУ — приглашенный ученый, ПО — принимающая организация.
Мы рассматриваем ниже 54 мегагранта, исключив из рассмотрения мегапроект вовлечения Томского университета в ATLAS. В этом особом случае номер гранта так и не удалось установить. Но все равно методика [2] в этом случае не работает, так как в статьях коллаборации (немногим меньше трех тысяч соавторов) номеров грантов не указывают. Были проблемы еще с четырьмя мегагрантами по физике высоких энергий и физике плазмы: коллаборационный характер ряда статей (несмотря на куда меньшее число соавторов) не позволяет использовать принцип поиска «немегагрантных» статей по месту работы. В этих случаях искали по соавторам «мегагрантных» статей».
Яркой особенностью мегагрантов по физике являются пресечения ряда ПУ в публикациях. В единичных случаях это статьи с указанием сразу двух мегагрантов (в указанной ниже сумме статей их доля на уровне долей процента). Гораздо чаще наблюдается «преемственность» (ПУ, закончивший более ранний мегагрант, участвует в работе по мегагранту следующего этапа). Для биологии такие ситуации были крайне редки, а у физиков они встречаются почти для четверти всех ПУ и возникают даже при локализации грантов в разных городах.
Как мы уже отмечали ранее [3], физики прогенерировали с отсылкой к мегагрантам значительно больше статей, чем биологи, — 2344 по данным автоматического поиска, который не видит части статей из-за неточностей в указании номера гранта. В списках трудов ПУ-физиков найдено (ручной поиск) 1078 мегагрантных статей. С учетом немного разного числа мегагрантов по физике и биологии «производительность» мегагрантных коллективов в целом оказывается выше в 2.1 раза, а ПУ-физиков — в 1,75 раза. Отличие от биологов состоит также в том, что статьи с участием ПУ-физиков точно составляют меньше половины «мегагрантной продукции», т. е. сами ПО в этом случае более самостоятельны (или более активны).
Но вовсе не потому, что… А почему?
Связана ли плодовитость мегагрантов по физике с более высокой степенью интеграции ПУ в коллектив ПО? Эту степень в первом приближении можно оценить как долю «мегагрантных» статей ПУ с «местными» соавторами (отношение колонок Q/O, рис. 1). Она высока (>70%) только в половине случаев. Средние доли статей с «местными» соавторами у биологов и физиков значимо не отличаются. И посвящали себя мегагранту ПУ-физики тоже далеко не в полной мере (доля мегагрантных статей в общем числе статей ПУ за те же годы, отношение колонок O/T, рис. 2). Хотя, пожалуй, на этапах 4 и 5 уже все посвящали себя хотя бы на 20% (про этап 6 судить пока трудно, не так давно начались публикации).
Распределение мегагрантов по разным разделам физики гораздо менее однородно, чем в случае биологов, и конечно, нет никаких оснований для утверждения, что «вообще физики всегда публикуются чаще». Но в выборке мегагрантных лабораторий получилось именно так, причем и для «немегагрантных» статей тоже, особенно для проектов более ранних этапов (колонка AB, на рис. 3 учтены только такие статьи без*, т. е. имеющие «местных» соавторов). Если все совместные статьи (Q+AB) нормировать на длительность периода сотрудничества (рис. 4), то более четверти коллективов оказываются выше планки 5 статей/год. У физиков в среднем немного больше «вовлеченных соавторов», чем у биологов, и всего в одном мегагранте таких соавторов вообще не было. Доля ПУ-физиков, имевших ранее контакты со «своими» ПО, заметно выше, чем доля таких ПУ-биологов (63 и 48% соответственно). В [1] мы сообщали о наблюдении трех видов мегагрантных лабораторий, из которых у физиков, пожалуй, явно доминирует (I) — «ПУ укрепляет работу активной лаборатории». Может быть, в этом и причина различий количественного результата по «публикационному выхлопу» (чудесный термин, почерпнули в отзывах читателей на часть 2)? «Укрепить» работающий коллектив всё же можно быстрее, чем создать новую лабораторию или собрать консорциум. Это предположение подтверждается и значительным вкладом в «выхлоп» самих ПО…
А что в высшей лиге?
Мегагранты по физике породили 17 статей в журналах с IF >30, из них 7 в Nature Photonics (см. общую таблицу для физиков и биологов [2]). И еще три мы не учитывали, так как в них номер мегагранта был, а ни одной российской аффиляции не было — а то бы получилось 20. И еще 4 сообщения в News & Views — там номера грантов не указываются, но WoS их индексирует. Один мегагрант засветился аж с импактом 74,45 (Nature Rev. Mater.). Забавно, что породивший этот рекорд ПУ, успешно работающий в Европе кандидат физико-математических наук, после завершения мегагранта защитил в ПО докторскую диссертацию. Что, пожалуй, лестно для тамошнего диссертационного совета.
В следующей высокоимпактной группе (20 < IF < 30) ПУ-физики «принесли стране» 11 статей. Как ни считай, выходит, что в высшей лиге урожай по физике примерно в четыре раза выше, чем по биологии. Но вряд ли это признак возникновения лабораторий мирового уровня, поскольку лишь менее чем в половине высокоимпактных публикаций присутствуют соавторы «с мест», т. е. в значительной степени этими высокими импактами ПУ выполняют формальные обязательства.
А вообще разброс импактов (колонки U, V, W) очень велик. Почти в половине проектов по физике появлялись статьи в журналах с IF <1, в 47 из 54 — в журналах с IF<2. Отчасти это связано с привычкой публиковать статьи в российских журналах, но есть и международные низкоимпактные. Проекты с невысоким средним IF относятся к более или менее технической физике. Обсуждать импакты мы далее большого смысла не видим. В связи с сопряженными вопросами о цитировании мегагрантных статей пока готовы предложить вниманию читателей только корреляцию между цитированием всех мегагрантных статей (автоматический поиск) и «активным» цитированием ПУ (цитирование статей, опубликованных в последние семь лет по методике [4]). На этом графике линии с единичным наклоном отвечает гипотетическая ситуация работы ПУ только «на мегагрант» с 2013 года. Соответственно, ниже такой линии должны лежать точки для более поздних этапов и/или для заведомо небольшой доли работ по мегагранту в творчестве ПУ, а выше могут оказаться точки для более ранних этапов и/или для значительных вкладов статей ПО без ПУ. Как видно из рис. 5, выше оказывается не так много. А среди того, что ниже, много примеров сильных отклонений от единичного наклона даже для мегагрантов ранних этапов. Очень высокое «активное» цитирование характерно для работающих в мейнстримных областях. При ручной обработке замечено, что некоторые вполне мейнстримные ПУ, прежде всего иностранцы, систематически не указывают мегагрант и российскую аффиляцию в ряде статей в престижных журналах. И это обстоятельство не надо драматизировать: возможно, у них есть какие-то обязательства на местах основной работы. На наш взгляд, рис. 5 вполне наглядно демонстрирует, что отбор победителей конкурса с учетом их цитируемости совершенно не гарантирует повышения цитируемости статей с российской аффиляцией под крылом победителя.
Замкнутый круг имитации
Допустим, кто-нибудь захотел бы оценить эффективность программы мегагрантов в любых терминах с нормированием на вложенные средства. Мы уверенно утверждаем, что любой полученный таким образом результат не имеет отношения к реальности, потому что работа по мегагрантам в большинстве случаев поддерживалась одновременно из разных источников. Так, в публикациях ПУ-физиков указание мегагранта как единственного источника финансирования встречается в 115 статьях (10.7%). Это еще меньше, чем у ПУ-биологов, хотя доля хотя бы иногда соблюдавших этот «принцип единственного источника» несколько выше. Рекорд у физиков: 10 источников российской поддержки в одной статье, что совершенно не отличается от рекорда биологов (11) и представляется некоторым перебором.
На рис. 6 суммированы данные о среднем для каждого мегагранта числе источников российской поддержки статей. Не торопитесь радоваться тому, что около половины мегагрантов занимают синее поле «1–2» (источника). Именно в этих половинах содержатся в основном мегагранты с раздельным существованием ПУ и ПО. Например, всего два биолога и три физика из числа ПУ, указывающих в среднем 1–2 источника, публиковали 50% или более мегагрантных статей с соавторами из ПО. А половина синего поля — это мегагранты, в которых доля статей ПУ с «местными» соавторами ниже 20%. Публикуя статьи отдельно от ПО, ПУ указывает мегагрант + свое обычное зарубежное финансирование, и к созданию лаборатории это вряд ли имеет отношение.
Мы полагаем, что наиболее очевидной особенностью программы мегагрантов является ее имитационный характер. Не то чтобы тут было что-то новое для нашей системы поддержки науки, но очень уж наглядно и в высокой концентрации проявилось в изучаемом примере.
Правительство/министерство (П/М) ратуют за создание лабораторий мирового уровня, на самом деле имея в виду выполнить план по проценту статей РФ в WoS (или иной аналогичный план), т. е. повысить урожайность. ПУ откликаются на этот призыв, имея в виду, ну допустим, помощь коллегам «на местах», которым трудно. А иногда просто чтобы усилить финансирование своего научного направления. Оба этих намерения ничем не плохи, но все-таки не идентичны идее создания лаборатории… Прежде чем круг замыкается, в него неизбежно вовлекается третья сущность — ПО. Она, независимым образом, находится под воздействием требований П/М повышать свой научный уровень, под каковым требованием имеется в виду наращивать тот или иной рейтинг. «Подписываясь» на мегагрант, ПО хочет использовать ПУ, чтобы выполнить заодно свою рейтинговую задачу, и начинает его стимулировать параллельно (это уже два источника финансирования на статью). Мы не знаем масштабов локального финансирования, но судя по тому, с какой регулярностью оно упоминается в статьях, — это не копейки. За стимулирование ПО хочет «показателей» по полной программе, т. е. и статей, и грантов, и побольше. Начинается лихорадочная подача проектов в РФФИ и РНФ, в успехе заявок играют роль имя и индекс Хирша ПУ. Число источников в статьях нарастает, достигая 3, 4 и даже более. В каждом новом гранте, вероятно, записано решение какой-то конкретной задачи — но, безусловно, не задачи создания лаборатории. Довольно явным признаком работы на рейтинг ПО являются немегагрантные статьи ПУ без «местных» соавторов (цифры со звездочкой в колонке AB, которые выше не рассматривались). Мы насчитали таких статей 88 у 13 ПУ-биологов и 292 у 28 ПУ-физиков. Физики явно в среднем более интегрированы в «свои» ПО. Эти «статьи-обязательства» распределены крайне неравномерно, и в некоторых случаях их число невелико по сравнению с числом немегагрантных статей с российскими соавторами. Показательным в этом смысле представляется томский неуспешный мегагрант первого этапа, после которого в соавторстве с тамошними коллегами ПУ опубликовал аж 160 статей. Видимо, локальная поддержка оказалась более комфортной.
Мегагрант кончается, локальное финансирование и гонка за грантами продолжаются. Когда круг замкнут, то нет смысла говорить, с чего (кого) он начался. Декларируемые цели все время иные, чем то, что бегущие по кругу имеют в виду на самом деле, и в этом смысле мы говорим об имитации.
Востребованная профессия — «приглашенный ученый»
Конечно, среди ПУ есть те, кто по полной программе посвятил себя мегагрантной лаборатории и у кого она работает. На мировом ли уровне и выполнены ли все 7 задач постановления 220 [5] — нельзя судить без детальной профильной экспертизы результатов каждой лаборатории.
Но даже простой просмотр публикаций (структура соавторства и указания финансирования) показывает, что иногда экспертиза, по существу, смысла не имеет. Прежде всего это касается ПУ, уверенных, что их имя стоит дорого и что достаточно моторно вставлять номер гранта и/или российскую аффиляцию в статьи с привычными соавторами. Разновидностью этого мегагрантного стиля является сохранение привычного круга соавторов путем их временного аффилирования с мегагрантной лабораторией, вроде как чтобы соблюсти приличия. «Местные» люди остаются за бортом создаваемой «лаборатории мирового уровня», а ПУ по завершении срока мегагранта возвращается в привычный ритм, который, может быть, не сильно и нарушался. Поимитировали, и хватит. Это, по нашей предварительной оценке, относится примерно к четверти всех ПУ.
Вызывает определенные сомнения и результативность ПУ другого типа, готовых распространять мировой уровень широко, в разных регионах последовательно или даже одновременно. Это происходит в рамках многочисленных параллельных грантов и с участием большого числа соавторов, но в основном «одноразовых». Такие активные ПУ в некотором роде перераспределяют потоки госфинансирования, направляяя их из разных источников на свою тематику. У них обычно несколько мест работы (встречалось до шести аффиляций одновременно в одной статье). Нам кажется, что это признаки отдельной профессии «приглашенный ученый», в которой важно умение крутиться в замкнутом кругу, и что овладели этой профессией едва ли не 25% всех ПУ. Крутиться можно с самыми благими намерениями, но возможна ли систематическая работа лаборатории — или тем более лабораторий — под руководством перелетных ПУ? При выявлении ключевых «местных» участников у нас сложилось пока впечатление, что успех в подобных случаях определялся присутствием в лаборатории сильных и известных в мире российских ученых, уступающих ПУ разве что «по хиршам». Бывало, что такие специалисты ранее не работали в ПО, а привлекались к мегагранту в том же городе. Может быть, именно они и есть реальные создатели лабораторий?
Продолжение следует
Нам хотелось бы для дальнейшего углубленного исследования выбрать мегагранты, в рамках которых действительно мог произойти прогресс в работе тех или иных лабораторий. Уточним: мы предлагаем абстрагироваться от мегагрантов, обнаруживающих явные признаки имитации, и тех, из которых явно торчат уши административного ресурса. Выбрать предположительно удачные случаи нужно из мегагрантов трех первых этапов. От биологов мы некоторые предложения уже получили, ждем теперь от физиков. Смотрите данные [2]. Пишите, пожалуйста, на адрес: [email protected] (с кратким обоснованием). Продолжение в марте 2020.
Галина Цирлина, Михаил Фейгельман, Екатерина Малинкина
https://sfdora.org/good-practices/funders/ постоянно обновляемый список политик грантодателей (и не только) по отказу от оценки заявок по импактам, квартилям и прочим журнальным метрикам.
Все стали экспертами в наукометрии, но разучились ценить результат. Я уже не говорю про оценку красоты попытки и полученный при этом отрицательный результат.
Публикация — «типа» всегда положительный результат. Ну вот и отношение масс к науке становится такое.
Много цифр, но мал «выход». Сдается , что он лишь в «имитации» повышения научного уровня ПО. Пора делать конечный вывод насчет мегагрантов.
Припугнуть оргвыводами никогда не вредно, — кнут он и в Африке кнут, — но неплохо бы пообещать и пряник – перевод наиболее успешных мегагрантов в гигагранты типа Сколково и Роснано.