В этом и следующем сообщениях мы рассматриваем ряд «показателей», извлеченных путем ручной и полуручной обработки данных Web of Science (WoS) для каждого из приглашенных ученых. Все данные доступны в xls-файле [1], там же имеется методический комментарий о способах извлечения цифр в каждой колонке. Имена колонок ниже упомянуты. Объясним здесь, несмотря на дефицит газетной площади, два методических вопроса.
(1) Автоматический поиск по номеру гранта не дает полной картины: (а) из-за опечаток в указании поддержки (перепутаны 0 и О, лишний интервал, пропущена точка и т. п.); (б) потому что WoS вообще не воспроизводит информацию о финансировании для ряда изданий и для кратких сообщений в ряде журналов; (в) из-за технических сбоев (WoS иногда дублирует номера гранта в одном acknowledgement или разрывает их). Ручной поиск по частям номеров существенно помогает, но он реален только в индивидуальных списках трудов. Поэтому данные об общем числе «мегагрантных» статей по WoS ориентировочные: всего для биологических проектов (колонка M, автоматический поиск) — 978. Не все эти статьи опубликованы с авторством руководителей мегагрантов. В их индивидуальных списках статей (колонка O) ручной поиск дал 549, при этом для некоторых нашлось больше статей, чем автоматическим поиском по всему их мегагранту. Осторожно заключим, что при участии приглашенных ученых (ПУ) опубликовано не менее половины мегагрантных статей и сосредоточимся на наблюдениях только по более достоверным результатам ручного поиска.
(2) Мы выделяли как совместные с сотрудниками принимающей организации (ПО) только те статьи, в которых список аффилированных с ПО авторов не ограничивался ПУ и его постоянными сотрудниками/коллабораторами из другого города/страны (хотя такие люди часто временно зачислялись в штат «мегагрантной» лаборатории как совместители, и ничего плохого в этом нет в общем случае). Смысл в том, чтобы оценить число вовлеченных в мегагрантный процесс людей, которые по окончании финансирования будут продолжать работать в той же лаборатории или взаимодействовать с ней в непрерывном режиме в том же городе.
В целом пока вырисовывается три «модели» ПУ-ПО-взаимодействия: (I) ПУ укрепляет работу активной лаборатории (финансово и/или творчески); (II) ПО приглашает ПУ для создания активной лаборатории из имеющегося разрозненного или недостаточно активного «материала»; (III) ПУ интегрирует несколько активных в данном городе лабораторий, хотя мегагрант формально приписан только к одной ПО. В файле [1] имеет смысл в этой связи обратить внимание на колонки Р (особенности) и AE (основные соавторы мегагрантных статей ПУ, если их удалось выявить). Примерно в половине случаев это активные «местные» ученые с заметным цитированием предыдущих работ, один (соответствует модели I) или несколько (скорее III). Есть примеры «раскручивания» людей за период мегагранта (некоторые, например, перешли условный порог цитирования [2]) — возможно, это признак модели (II). Ниже обсуждается некоторый набор «показателей», которые при помощи коллег-биологов могут помочь уточнить особенности этих моделей. Сразу предупредим: почти ни одно из чисел само по себе не может быть оценено как «хорошее» или «плохое». Рассуждения о результативности мегагрантов (насколько они вообще возможны по такого рода публикационным признакам) могут основываться только на сочетании разных «показателей».
Интеграция в принимающий коллектив
Доля «мегагрантных» статей ПУ с соавторами — сотрудниками ПО (отношение колонок Q/O, рис. 1) — в основном не ниже 0,5, а примерно для половины мегагрантов — довольно близка к 1. Однако в последнем случае некоторые точки отвечают малому общему числе статей. Отношение доли мегагрантных статей к общему числу статей ПУ за те же годы (рис. 2) показывает, что только четверть приглашенных «посвящали себя мегагранту» хотя бы наполовину. От этапа к этапу очевидных тенденций на рис. 1 и 2 (см. в онлайн-версии) не прослеживается.
Многие активные коллективы получали с участием ПУ и другие гранты (параллельно или после завершения мегагранта), в рамках которых тоже публиковали статьи — они находятся поиском по месту работы с учетом указываемого финансирования (колонка AB). В этот массив попадают, конечно, некоторые «мегагрантные» статьи, для которых WoS не воспроизвел источник финансирования, но довольно многие опубликованы заведомо после завершения мегагранта. И чем «старше» мегагрант, тем больше число лабораторий, опубликовавших много «немегагрантных» совместных с ПУ статей (рис. 3).
Мы суммировали все совместные статьи (Q+AB) и разделили на длительность периода сотрудничества (рис. 4). Выше планки 5 статей в год оказалось шесть лабораторий, выше 10 — две. Но, конечно, продолжение совместной работы ПУ-ПО с публикационным выходом не является обязательным признаком успеха мегагранта: вовлеченные в процесс и вдохновленные совместной работой с ПУ сотрудники далее могут действовать самостоятельно. В четверти лабораторий на уровне соавторства было вовлечено не более 5 человек (в четырех из них — просто ни одного), еще в четверти — от 6 до 10 человек, в 22 лабораториях число таких участников составляло от 11 до 25, «рекордные» цифры — 31 и 53. Мы также сравнивали разные «показатели» для ПУ, имевших и не имевших ранее контактов с ПО (да/нет в колонке AC). Единственное значимое отличие найдено именно в числе вовлеченных (в среднем 14,25 для «да» и 7,5 для «нет»).
Даешь стране? Мелкого, но много
Оба указанных выше «рекорда» по числу участников-соавторов больше похожи на модель (III), а не (I). Для Новосибирского университета (31 соавтор), в некотором роде интегрирующего институты в Академгородке и Кольцово, это, наверное, естественно. Что касается рекордного саратовского мегагранта (формально биомедицинского, чрезвычайно междисциплинарного, 53 соавтора), он, видимо, отразил специфику публикационной активности как минимум трех «местных» коллективов, а не только самого ПУ. В обоих случаях число «самостоятельных» статей ПО велико.
Исследование мегагрантной продукции ПО без участия ПУ требует отдельного анализа с ручной обработкой для случаев, когда ее количество явно заметное, т. е. примерно для четверти всех биологических мегагрантов. Есть особый случай очень высокой «производительности» ПО (118 статей при автоматическом поиске, из них с участием ПУ — менее 10%): это дальневосточный мегагрант, основанный на очень давнем (по крайней мере с начала 1980-х) и систематическом сотрудничестве, который, похоже, выполняли «всем Владивостоком» и продолжали указывать в статьях долго. Ну так порадуемся за этот единственный «совсем организменный» по специализации мегагрант.
После предыдущей публикации [3] были вопросы про импакт-факторы (IF). Мы собрали такую информацию (колонки U, V, W), хотя не считаем возможным делать из нее далекоидущих выводов без учета очень узких специализаций, а «недалекоидущие» таковы. (1) Когда IF_max, IF_min и усредненный по всем статьям (имеющим IF) невелики и не очень сильно отличаются, это, скорее всего, «немодные» направления. А вот когда IF_max и IF_min отличаются на порядок и более, это немного странно. (2) Для 30 лабораторий IF_min ниже 2, из них для 20 IF_min даже ниже 1, хотя преобладают молекулярные биологи — видимо, многие все-таки не избежали соблазна увеличивать число публикаций за счет статей в нетипичных для этой области «низкоимпактных журналах». (3) IF не очень-то коррелируют с цитированием отдельных статей. Например, по цитированию «мегагрантных» статей (колонка N) рекорд составил более 7000, и достигнут он в основном (~ 5500) одной статьей в журнале с IF = 0,879 (в год публикации был около 1,5).
Заодно посмотрели, сколько «суперимпактных» статей (IF > 30) принесли стране биологические мегагранты (см. таблицу). Сложно утверждать, что вовлечение в эти рекорды сотрудников мегагрантных лабораторий носит массовый характер… Еще есть две статьи с IF~25 и заметное число с IF~15.
Насколько российскими являются эти статьи, кроме последней, нам судить трудно, а последняя — Reply. Международные коллаборации, конечно, типичны для современной науки, и не удивительно, что «мегагрантные» статьи обошлись без указания зарубежного финансирования всего у шести биологических «мегалабораторий» (12,5%). А вот что кажется достойным обсуждения, так это указываемое число источников российского финансирования.
Грантовое финансирование как разновидность краудфандинга
Обнаружено на всех мегагрантников-биологов 72 статьи (13%), в которых как единственный источник финансирования указан мегагрант. Только 17 ПУ (в том числе 6 иностранцев) соблюдали этот принцип хотя бы иногда, два представителя диаспоры соблюдали всегда. Для ПУ, постоянно работающих в РФ, таких статей не обнаружено.
Рекорды: 11 источников российского финансирования в одной статье; в среднем по всем статьям – 6,4 таких источника. Среднее число источников, близкое к 1, сильно коррелирует с большим вкладом статей ПУ, в которых указан мегагрант, но нет российских соавторов («выполнение обязательств»). Это число оказалось меньше двух для 20 лабораторий, больше трех — для 9. Ну, конечно, обстоятельства сложные: в активных коллективах есть гранты РФФИ, и гранты РНФ часто возникали даже до конца срока мегагранта, да еще многие ПО поддерживают ПУ внутренним финансированием («топ-100» и т. п.), его тоже приходится указывать. Нашлось такое мудрое решение: “This work was supported by <указан мегагрант> on the basis of <указано два локальных источника>”. Встречались статьи, отражающие быстрое перемещение мегагрантников между территориально разными источниками — возможно, складываются межрегиональные коллаборации, типа Саратов — Томск или даже РФ — Казахстан, тут без экспертной оценки не разобраться.
Уникален случай доктора П. Маккиарини (P. Macchiarini), перебравшегося из Краснодара в Казань. Его вроде выгнали и из Казани, и из Стокгольма в 2017 году [4] и стыдливо убрали из списка мегагрантных лабораторий [5] (хотя сохранили имя как победителя конкурса [6]). Однако на сайте Кубанской ПО доктором до сих пор гордятся [7]. А в 2019-м имеются его публикации с аффилиацией Kazan Fed Univ, Lab Bioeng & Regenerat Med BioReM, в том числе c четырьмя соавторами из этой лаборатории, шестью соавторами из Курчатовского института и еще двумя российскими соавторами с отсылкой уже к гранту РНФ «Создание тканеинженерной конструкции пищевода для замены поврежденного органа на модели низших приматов» (КГМУ). Сочувствуем низшим приматам…
Таблица. Высокоимпактные публикации (IF > 30) с указанием мегагрантов по биологии
|
|
Импакт-фактор |
Число авторов |
Число источников финансирования |
Кто из авторов аффилирован с ПО |
|---|---|---|---|---|
|
Nature 2014 |
43,07 |
36 |
1РФ + 22 зарубежных |
Только ПУ |
|
Nature 2013 |
43,07 |
40 |
1РФ + 8 зарубежных |
ПУ и 2 сотрудника «мегалаборатории» |
|
Science 2016 |
41,04 |
7 |
2РФ + 3 зарубежных |
ПУ и 2 сотрудника «мегалаборатории» |
|
Nature Biotechnol. 2017 |
31,86 |
14 |
1РФ + 2 зарубежных |
ПУ и его сотрудник из другого города |
|
Nature Biotechnol. 2018 |
31,86 |
4 |
1РФ |
Только ПУ |
Все счастливые счастливы по-разному
Понятно, что очень низкий публикационный выход по мегагранту, малое число совместных статей и вовлеченных сотрудников являются указаниями на то, что создания лаборатории мирового уровня не произошло. Такие случаи, скажем мягко, не единичны. Но и высокие цифры тоже еще не гарантия успеха.
Пока нам кажется, что удачные мегагранты, приведшие к созданию или (чаще) заметному укреплению лабораторий и российских консорциумов, имеются, и что все они устроены по-разному. И что для дальнейшего исследования предположительно удачные случаи следует выбрать из мегагрантов трех первых этапов с не слишком короткой историей. Коллеги-биологи, давайте выберем их вместе? Мы готовы собрать списки соавторов всех совместных статей независимо от указания источников финансирования. Выделить «неодноразовых» соавторов ПУ и проследить их публикации до, во время и после мегагранта. В том числе проследить судьбы студентов и аспирантов. Сопоставить наблюдения с информацией на сайте лаборатории. И еще называйте, пожалуйста, «немегагрантные» лаборатории того же профиля для сравнения. Только пишите не в жанре форума, а в письмах на [email protected] и с кратким обоснованием. Нам кажется, что интересна разветвленная мегагрантная биологическая история в Питере (пересечения СПбГУ — Политех и ЛТИ — Институт цитологии). Нестандартные случаи есть в Москве, например многолетнее функционирование мегагрантной лаборатории почти из одних совместителей, может, и так бывает. Посмотрите [1], пожалуйста.
А мы завершим это сообщение элегантной картинкой, которую встречают [8] желающие посетить сайт мегагрантной лаборатории в ИМБИ (ИнБЮМ) им. А. О. Ковалевского (Севастополь). На сайт института пока не удалось попасть, а в Сети встречаются тревожные сообщения о его состоянии. Будем помнить, что не всем мегагрантникам достались стабильные ПО, да и в стабильных бывало всякое… Будем сосредотачиваться на счастливых случаях и постараемся твердо выяснить, сколько же их.
Мы признательны А. М. Железнову (Европейский университет в Санкт-Петербурге) за полезную информацию о номерах грантов и договоров и о том, что за сайт p220.ru отвечает некий «Инконсалт К» (сайт в целом неплох, но неточности встречаются).
Галина Цирлина, Михаил Фейгельман, Екатерина Малинкина
- expertcorps.ru/science/publications
- expertcorps.ru/science/whoiswho
- trv-science.ru/2019/12/24/po-sledam-megagrantov-1/
- meduza.io/feature/2017/05/16/hirurg-paolo-makkiarini-bolshe-ne-rabotaet-v-rossii-uchenomu-kotorogo-nazyvali-chernobylem-shvedskoy-meditsiny-otkazali-v-finansirovanii
- p220.ru/home/projects
- p220.ru/component/k2/item/113-issledovaniya
- regmedgrant.ksma.ru
- bio-fgmo.ru
«Доля «мегагрантных» статей ПУ с соавторами — сотрудниками ПО (отношение колонок Q/O, рис. 1) — в основном не ниже 0,5, а примерно для половины мегагрантов — довольно близка к 1.» = Это как???
Интересная статья, однако для полноты картины было бы забавно сравнить библиометрический выхлоп с менее пафосными программами, например, с подборкой случайных грантов РНФ по той же тематике на такую же общую сумму.
Такое сравнение было предложено еще несколько лет назад, причем именно биологами. Для него даже есть немалые заготовки. Оно может быть проведено, но для этого нужно грамотно проанализировать набор специализаций в обоих массивах и выделить какие-то части массивов (скорее всего mol-biol, т.к. остальных точно меньше). Тогда может быть будет не только забавно, но и полезно…
Уважаемые коллеги!
По моему мнению, вы видите крайне порочный пример использования наукометрии. Куча чисел и графиков, которые ни о чем. От слова «совсем». Как уже говорилось много раз, наукометрия есть просто статистика. исходный материал для работы эксперта. Функция которого — разобраться в каждом случае и дать ответственную оценку.
Наукометрия имеет такое же отношение к оценке работы коллектива как показания прибора к научному результату. Как результаты анализа к диагнозу врача. Это набор данных, которые должен анализировать специалист.
Особенно удручает тот факт, что ВОТ ЭТО предлагает корпус экспертов. Который, по идее, как раз и должен был обладать экспертным потенциалом для анализа.
Извините, но больше всего похоже, что ребята отчитываются за полученные денежки. Тексты такого стиля настолько регулярно встречаются, что не узнать «фирменный» стиль очень трудно. А жаль…
Особенности мегагрантов диктуют и особенности анализа их успешности в смысле развития научного потенциала. Сами руководители — как правило и без того вполне солидные и успешные люди. Следовало бы собрать информацию об участниках (местных соавторах мегагрантных статей) и проследить динамику их публикационной активности ДО вхождения в команду и после. При этом следует учесть квартильность публикаций (а не импакт). Также необходимо посмотреть, способствовало ли включение в мегагрант росту немегагрантных публикаций у участников.
Такой анализ позволил бы посмотреть, насколько достигнуты цели развития научного потенциала за счет приглашения к сотрудничеству ведущих ученых.
Информация об участниках разумеется собрана, иначе откуда бы взялись приведенные сведения об их количестве и предположения об основных участниках… План проследить динамику до, во время и после, с учетом немегагрантных статей, сформулирован в финальной части текста вполне однозначно. Многие «неодноразовые» соавторы уже «исследованы», ряд новых имен в связи с этим можно найти в [2]. Но проводить такой разбор для всех мегагрантов вряд ли имеет смысл. Мы предложили коллегам-биологам сделать выбор проектов, для которых они считают это целесообразным. Некоторые уже вполне аргументированно высказались сегодня по этому поводу в почте (как мы просили), им большое спасибо.
Что до квартилей — это еще менее осмысленная вещь, чем импакты, т.к. сильнее наследует безумие классификатора WoS. Но если найдется консультант, готовый системно комментировать квартили по разным биологическим специализациям — можно и эти цифры собрать конечно. Однако прежде всего важно просто собрать общую картину публикаций, поскольку никакого иного материала для экспертного анализа быть не может — ни заявок, ни отчетов в открытом доступе нет.