В статье «Кризис, или Разруха в головах»1 Евгений Онищенко привел данные о публикационной активности российских ученых по базе данных Web of Science Института научной информации (ISI WOS), из которых, в частности, следовало, что в 2010 г. абсолютное количество российских статей несколько снизилось по сравнению с 2009 г. На форуме «Бытие науки» (www.scientific.ru/dforum/scilife/) этот вывод подвергся критике. Доводы следующие:
1. ISI WOS ранжирует статьи по дате поступления в базу данных и, следовательно, видимое число статей за 2010 г. может быть артефактом запаздывающего поступления статей из отечественных переводных журналов (преимущественно издательства МАИК).
2. В альтернативной базе данных SCOPUS снижение числа российских статей в 2010 г. не фиксируется.
В этой статье рассматривается динамика российских публикаций за последние 10 лет по базе данных ISI WOS и делается несколько выводов. Во-первых, данные о снижении числа статей в 2010 г. в сравнении с 2009 г. верны. Во-вторых, можно достаточно уверенно говорить, что в 2011 г. число российских статей будет сокращаться. В-третьих, делается вывод, что всплеск числа публикаций в 2007-2009 гг. для России и последующий спад напрямую связаны с введением в Российской академии наук системы ПРНД (Показатель результатов научной деятельности), непосредственным образом влиявшей на оплату в зависимости от количества публикаций.
Способ расчета
В базе данных ISI WOS (15 апреля 2011 г.) задавался поиск по ключевым словам “Russia”, “Russian Acad Sci or RAS”. Для сравнения осуществлялся поиск по ключевым словам “Brazil or Brasil”, “Moscow MV Lomonosov State Univ or Moscow State Univ”, “Inst Earth* Crust and Irkutsk”.
Поскольку ISI WOS не позволяет использовать все сервисы при работе с числом статей >100 тыс. единиц, поиск задавался по годам попадания публикаций в базу данных. Однако в сводных графиках (рис. 1-5) приведено количество статей, опубликованных в соответствующем году. Для этого данные по годам суммировались, независимо от года попадания статьи в базу данных. Обычно каждый год в ISI WOS индексируется с запаздыванием 15-20% статей, опубликованных в предшествующем году. За предыдущие годы и один последующий год также идет индексация статей, но это поправка малого порядка. Тем не менее, она также учитывалась.
Из всех категорий индексируемых публикаций анализировались только те категории, которые могут быть отнесены к научным статьям, а именно “Article”, “Proceedings Paper”, “Review”, “Editorial material” и “Letter”, что позволяло исключить тезисы докладов, индексируемые в WOS, которые обычно занимают вторую или третью по численности позицию, а также другие менее значимые по количеству единиц позиции — такие как «правки к статье», «библиографические материалы» и т.п.
Для прогноза, какое количество статей будет опубликовано в 2011 г. число реально опубликованных статей в 2011 г. и проиндексированных с января по середину апреля, было умножено на 4 и к этому числу добавлено еще 20%.
База данных SCOPUS не использовалась по следующим причинам. Во-первых, в этой базе данных большинство переводных статей из отечественных журналов и оригинальные статьи из этих же журналов индексируются дважды. Помимо явной проблемы «удвоения» статей, существует проблема несистематичности этого «удвоения». Во-вторых, в SCOPUS идет более быстрое пополнение базы данных дополнительными изданиями. То есть динамика роста числа статей сильно зависит от динамики пополнения базы данных. На анализ динамики публикационной активности с помощью ISI WOS эта проблема также влияет, но в этом случае она менее существенна.
Публикационная динамика для России за 2001-2011 гг.
Результаты библиометрического поиска для России в базе данных ISI WOS представлены на рис. 1. Видно, что на графике есть три характерных участка:
1. 2002-2006 гг. характеризуются планомерным падением числа опубликованных статей почти на 10% от уровня 2002 г.
2. 2006-2009 гг. характеризуются планомерным ростом числа опубликованных статей более чем на 15% от уровня 2006 г.
3. 2010-2011 гг. характеризуются ожидаемым падением числа опубликованных статей почти до уровня 2006 г.
Перед тем как перейти к интерпретации, почему кривая имеет такую форму, следует отметить, что на фоне мировых тенденций эти публикационные взлеты и падения являются всего лишь незначительными флуктуациями. Так, на врезке к рис. 1 данные по России сопоставляются с данными по Бразилии. За то же десятилетие Бразилия увеличила число своих публикаций в три раза! Другие страны переходной экономики (так называемые страны БРИК, куда включают Бразилию, Россию, Индию и Китай) также демонстрируют больший публикационный рост, чем Россия2. Для большинства развитых стран характерен незначительный рост числа публикаций, однако превышающий таковой для России3.
Эффект ПРНД
Бросается в глаза то, что резкий рост публикационной активности после затянувшегося спада приходится на 2007 г., т.е. на первый же год после введения в Российской академии наук пилотного проекта (рис. 1), предусматривавшего привязку премиальной части зарплаты к ПРНД, в расчет которого входили баллы за статьи в научных журналах, в том числе индексируемых в ISI WOS. Более того, начисление баллов осуществлялось таким образом, что статья из журнала с высоким импакт-фактором (он рассчитывался по базе данных ISI WOS) получала больше баллов. Замедление роста числа опубликованных статей началось за год до окончания пилотного проекта, приведшего к отмене ПРНД в подавляющем большинстве институтов РАН, а в год, следующий за окончанием пилотного проекта, число статей начало снижаться. Важно отметить также и то, что после отмены пилотного проекта даже те институты, которые сохранили систему ПРНД или аналогичные ей рейтинговые системы, не имеют специализированного фонда для премирования сотрудников через привязку к этому формальному показателю.
На рис. 2 показана публикационная динамика для РАН. Очевидно сходство графиков на рис. 1 и 2 для России в целом и РАН в частности. Из абсолютного падения числа статей в 2002-2006 гг. для России в 1873 статьи на долю РАН приходится 24% (448 статьи). Из абсолютного роста числа статей в 2007-2009 гг. для России в 4030 статьи на долю РАН приходится уже 57% (2278 статьи).
Интересно, что публикационный спад 2002-2006 гг. не коснулся МГУ, однако доминирующе рановский публикационный рост и последующий спад 2007-2011 гг. характерен также и для МГУ (рис. 3). Причина этого проста. Доля совместных публикаций с РАН в МГУ неуклонно растет; на период пилотного проекта в РАН почти четверть статей из МГУ выходила совместно с сотрудниками РАН (рис. 4). Таким образом, рост и последующее падение числа статей для МГУ напрямую связан с введением и отменой ПРНД в РАН.
Локальные эффекты в институтах РАН
В ряде институтов РАН, особенно в Сибирском отделении, до пилотного проекта существовали собственные рейтинговые системы, позволявшие привязать премиальную часть зарплаты к публикационной активности. Более того, этот опыт институтов СО РАН сыграл, по-видимому, не последнюю роль при продавливании Министерством науки и образования пилотного проекта в РАН4. После прекращения пилотного проекта некоторые институты либо сохранили систему ПРНД, либо видоизменили ее, адаптировав к локальным условиям. Так, например, на рис. 5 приведены данные по публикационной активности Института земной коры СО РАН (~ 110-120 научных сотрудников). Рейтинговая система в этом институте существовала с 1999 г. задолго до введения ПРНД. Несмотря на это, официальный ввод ПРНД привел к немедленному скачку публикационной активности в 2007 г. После некоторого отката, число статей в период ПРНД установилось на уровне примерно в 20% выше, чем до ввода ПРНД. В 2009 г., после окончания пилотного проекта, в институте была введена модифицированная рейтинговая система, в которой усилена роль баллов за публикации в журналах, индексируемых ISI WOS, что опять-таки привело к немедленному, хотя и незначительному росту публикационной активности в последующий год.
Реально ли падение публикационной активности в 2011 г.?
Поскольку индексация научных журналов «второго плана», к которым относятся, например, переводные отечественные журналы и в которых публикуется основная часть российских статей, в ISI WOS идет с большим запаздыванием в сравнении с признанными международными журналами, то возникает правомерный вопрос, насколько реальна статистика по 2010 и 2011 гг.?
Я считаю, что эта статистика достаточно верна, исходя из следующего. Во-первых, если бы эффект снижения был артефактом скорости пополнения базы данных ISI WOS, то мы видели бы такое же снижение и для ИЗК СО РАН, а этого не наблюдается (рис. 5). Во-вторых, это можно проверить, посмотрев публикационную активность любой страны со схожими для России публикационными традициями, например, Украины. На рис. 6 показана публикационная динамика для Украины в целом и только для совместных российско-украинских коллективов авторов. В обоих случаях для Украины виден явный рост публикаций начиная с 2007 г. Падения числа статей в 2010 г. и прогнозном 2011 г. не фиксируется.
Некоторые оставшиеся вопросы
Доля РАН в рост публикаций в 2007-2009 гг. составила чуть более половины от общероссийского роста. Что это? Неправильная идентификация некоторых научных организаций РАН в ISI WOS (от 20-40% статей, выпускаемых из крупных академических институтов, идет без указания их принадлежности к РАН) или же отражение конкуренции? Могли ли ускоренные темпы публикаций научных результатов из РАН стимулировать ученых из других научных организаций торопиться с публикацией своих результатов, дабы не потерять приоритет?
Стало ли больше науки в 2007-2009 гг. и стала ли она лучше? Можно ли рассматривать подобные кратковременные всплески публикационной активности как диагноз улучшения состояния науки, если в последующие годы ожидается публикационный провал, полностью нивелирующий эти достижения?
Как оценить роль общего увеличения финансирования, пришедшегося на эти же годы, но направленного преимущественно в вузы и ГНЦ?
Выводы
Введение Пилотного проекта в РАН, привязавшего оплату труда к научной активности, в том числе выраженной через количество опубликованных статей в журналах, индексируемых в базе данных ISI WOS, послужило главным фактором, позволившим затормозить снижение доли России в общем мировом объеме публикуемой научной информации. При этом система оплаты за публикации дает линейный отклик в научной среде: «сколько денег — столько песен». Прекращение Пилотного проекта в РАН в 2009 г. немедленно отразилось на падении числа общероссийских статей, индексируемых в базе данных ISI WOS.
Алексей Иванов,
канд. геол.-мин. наук, с.н.с. Института земной коры СО РАН (Иркутск)
Adams J., King C. Russia. Research and collaboration in the new geography of science. Global Research Repost, Thomson Reuters, January 2010.
Adams J., King C., Ma N. China. Research and collaboration in the new geography of science. Global Research Repost, Thomson Reuters, November 2009.
http://orange.strf.ru/client/doctrine.aspx?ob_no=1191&cat_ob_no=225
В статье Алексея Иванова по ПРНД явно не хватает доказательств.
Нет ответа на вопросы:
1.В скольки институтах РАН были рейтинговые надбавки за публикации во время Пилотного проекта и сколько в них было научных сотрудников, имеющих право на такие надбавки.
2. В скольки институтах РАН осталась система рейтинговых надбавок за публикации и сколько сотрудников имеют право на такие надбавки. То, что эта система осталась, это факт, что следует из дискуссии на этом форуме, предшествовавшей публикации Алексея Иванова.
Эти данные важны, так как Пилотный проект сопровождался сокращением около 20% ставок.
Сокращали совместителей, независимо от их публикационной активности, что должно было уменьшить число публикаций. Сокращали пропорционально штатам, так что и в слабых и в сильных институтах сокращение было одинаковым, причём сокращение самых стильных из сокращаемых, естественно, пришлось на последний год сокращения, 2006-ой. Сокращение сотрудников в сильных институтах могло существенно уменьшить число публикаций.
С другой стороны, предупреждение о сокращениях, безусловно, стимулировало сотрудников публиковать статьи даже в случаях их неполной готовности, просто в качестве средства защиты. Выгребали всё, дробя статьи на несколько, где только можно. Произошло истощение «почвы», а после этого, как известно необходим отдых для накопления.
Выводы автора преждевременны. Необходимо подождать года 2 — 3. Во всяком случае, как знают профессионалы, по одной точке зависимость не определить.
Кроме того, очевиден конфликт интересов. Автор статьи — сторонник количественной оценки с помощью рейтингования на основе импакт-факторов, поэтому выводы сделаны категоричные, несмотря на то, что убедительных количественных данных с убедительным их анализом в статье нет.
PS Надо иметь в виду ещё одно обстоятельство. В годы Пилотного проекта, из-за стресса, связанного с сокращениями, ушли из науки многие вполне продуктивные учёные, и не только те, кому грозило сокращение, но и их чувствительные коллеги, просто из-за общей напряжённости. При этом нагрузка на тех, кто принимал решение о сокращениях была велика. После ухода части старшего, продуктивного поколения, достойной замены не нашлось, так как ориентация на публикации в высокоимпактных западных журналах одновременно есть ориентация молодых на выезд в страны, где эти журналы издаются и где легче сделать работу длят такого журнала и легче опубликоваться в таком журнале. Так что вывод можно сделать и такой: ПРНД стимулирует смертность и выезд молодых перспективных учёных из России. Оба этих процесса уменьшают число публикаций и далее будет ещё хуже.
Что ж Вы ссылку на ветку, где это уже обсуждалось не дали? http://www.scientific.ru/dforum/scilife/1305026267
Еще обсуждение у меня в ЖЖ
http://naukarus.livejournal.com/58124.html
249. ЛЬВИЦА И ЛИСА
Лиса попрекала львицу за то, что та рожает только одного детеныша. Львица ответила: «Одного, но льва!»
Басня показывает, что ценно не количество, а достоинство.
(стр. 173 сборника Эзоп, Лафонтен, Крылов. Изд-во АЛЬФА-КНИГА, Москва 2010)