Показатели эффективности и качества научной продукции разных стран в 2005 – 2009 гг.
Статья прикладного математика Валерия Аджиева из Национального центра компьютерной анимации (Великобритания) продолжает тему, начатую в наших предыдущих публикациях. ТрВ уже не раз анализировал возможность использования формальных индикаторов для оценки производительности и качества научной продукции ученых разных стран мира, см. ТрВ-14 от 14 октября 2008 г. и ТрВ-38 от 29 сентября 2009 г. [1- 3].
Недавно британский еженедельник The Times Higher Education (THE) опубликовал свежие данные, относящиеся к пятилетию 2005-2009 гг. и рассчитанные, как и раньше, на основе информации в базе The National Science Indicators (NSI) database, ведущейся Thomson Reuters [4-6]. По уже установившейся традиции, редакция THE не просто представляет не так уж сильно изменившуюся за год информационную картину, но и каждый раз предлагает немного другой ракурс взгляда. Ну а мы, как обычно, посмотрим на представленную в нижеследующих таблицах информацию через призму ситуации с производительностью научного труда в России.
Но сначала в очередной раз подчеркнем, что интерпретировать приводимые данные следует с осторожностью и многими оговорками. Необходимо видеть достаточно сильную ограниченность таких популярных (не в последнюю очередь ввиду их простоты) формальных индикаторов, как абсолютное число опубликованных в международных научных изданиях статей (особенно, когда они агрегируются по всему множеству разных наук) или «импакт-фактор» (показывающий усредненную цитируемость).
Конечно же, надо иметь в виду, что в разных научных областях средняя цитируемость типичной статьи может различаться на порядок, что есть пути искусственного завышения и количества публикуемых статей, и даже их цитируемости, что сравнивать развитие науки в «малых» странах, могущих себе позволить сконцентрировать ресурсы на отдельных ударных областях и темах, и в «больших», вынужденных развивать весь спектр наук, надо с осторожностью.
И что, наконец, англоязычные авторы при прочих равных имеют некоторое изначальное преимущество над коллегами, пребывающими в иной языковой среде. И, конечно же, бывает и так, что одна статья, на которую после ее публикации и особого внимания не обратили, в долговременной перспективе может оказаться более значимой, чем сотни других с более высокой цитируемостью.
И, тем не менее: на больших массивах информации представляемые индикаторы худо-бедно работают и, в конечном итоге, достаточно внятно показывают ситуацию с научной продукцией как в количественном, так и в качественном аспектах. Неудивительно, что и пресса разных стран, как специализированная, так и общеполитическая, строит свои заключения о состоянии науки в своих и чужих странах на основании именно представляемых метрик.
Они, по самой своей статистической природе, возможно, не показывают прямо наличие в некоторых странах выдающихся, прорывных результатов отдельных ученых или коллективов, но зато вполне адекватно отражают средний уровень развития науки (который обычно и служит базисом для «прорывов») .
Начнем с таблицы 1, которая сравнивает показатели научной производительности для ведущих индустриально развитых демократий мира, известных как «группа семи» G7. В эту группу входят Канада, Франция, Германия, Италия, Япония, Великобритания и США. Именно эти мощные государства стараются развивать весь спектр наук – такие амбиции имел Советский Союз и имеет, хотя бы в декларациях, и Россия.
Таблица 1. Страны G7, ранжированные по импакт-фактору за 2005-2009 гг.
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
В таблице для каждой страны и 20 основных научных дисциплин показывается: в первой строке – ее относительный рейтинг внутри «семерки», рассчитанный в соответствии с импакт-фактором (количеством цитирований в расчете на одну статью), достигнутым за 2005-2009 гг; во второй строке – насколько (в процентах) этот «импакт-фактор» отклоняется от среднемирового в означенной области – что позволяет понять ситуацию в каждой из стран G7 на фоне всего мира.
Лишь несколько заключений из этой таблицы. Можно увидеть, что США возглавляют соревнование в 11 областях и особенно успешны в экономике и бизнесе, химии, физике, материаловедении, компьютерных науках. Великобритания – первая в семи науках, особенно преуспевая в фармакологии, науках о растениях и животных, в сельскохозяйственных и экологических науках, а также в науках о Земле.
Германия с успехом развивает биохимию, науки о растенияхи животных, экологию, геонауки и космические науки. Канада лидирует в клинической медицине и, как это ни странно, в космических науках – за счет (как пояснил эксперт в THE) эффективного сотрудничества с другими странами. Франция сильна в математике, науках о растениях и животных, инженерных науках. Италия более-менее успешна в клинической медицине и психиатрии.
Наконец, Япония преуспевает только в иммунологии, замыкая список семи во всех остальных науках. Очевидно, что это, помимо прочего, отражение большей, сравнительно с соседями по клубу G7, самодостаточности страны и тех особых трудностей, которые японские ученые имеют с публикациями на английском языке.
Обратим внимание на нижнюю строку таблицы 1. Показанное там «усредненное по всем наукам место» каждой страны в шеренге семи можно с некоторой натяжкой интерпретировать как отражение той самой относительной глобальной успешности в развитии всех наук. США, естественно, являются абсолютным лидером, затем следуют Великобритания, Германия, Канада и Франция, а замыкают список, причем с солидным отрывом – Италия и Япония.
Еженедельник THE с удовлетворением отмечает [7], что Великобритания отстает от большого заокеанского брата совсем немного – при этом опережая его в восьми науках из 20. Есть, правда, и другое мнение: отставание на самом деле, более значительное и просто не может быть адекватно оценено на основании одного индикатора, пренебрегающего, в частности, валовыми факторами (которые тоже очень важны).
А где же Россия? Ведь «клуб G7» уже достаточно давно превратился в «большую восьмерку» G8, правда, больше в политическом измерении – для обсуждения на «саммитах», например, финансовых вопросов, по-прежнему, часто используется формат G7, что довольно болезненно воспринимается российской политической элитой, полагающей, что одна нефтегазовая составляющая росийской экономики позволяет ей претендовать на роль глобальной экономической державы. Увы, с наукой ситуация предельно однозначная, и таблица 2 очень наглядно демонстрирует, почему Россия не может претендовать на место в элитном клубе «больших» научных стран.
В отличие от прошлых наших публикаций, где приводились данные для ведущих в научном отношении стран (иногда для 10, иногда – для 20), Таблица 2 показывает информацию (отражающие как валовые, так и качественные – в смысле цитируемости – итоги последнего пятилетия) для 40 стран, причем таких, ученые которых за пятилетний период выдали в сумме не менее 20 тысяч статей.
То есть, с одной стороны расширен охват рассматриваемых стран, что позволяет увидеть положение дел практически во всех научно-значимых государствах, а с другой — из рассмотрения исключены крошечные страны типа Мальты, валовые показатели которых настолько малы, что не вписываются в основанную на статистических инструментах методологию.
Таблица 2. Продуктивность науки в 40 странах в зеркале цитируемости
|
Эта таблица носит более «грубый» характер – данные агрегированы для всех научных областей без прямого учета специфики каждой из них (подробнее об этой специфике в контексте использования импакт-фактора – в нашей предыдущей публикации [3]).
Итак, в первом столбце с данными для каждой страны приведено общее количество научных статей, опубликованых за период 2005 – 2009 гг. и учтенных в базе The National Science Indicators. Во втором столбце дано количество тех статей, которые за означенный период цитировались хотя бы раз.
В следующем столбце таблицы представлен процент процитированных статей, взятый по отношению к общему их количеству – именно по этому показателю и проранжированы страны в таблице. Его можно с некоторой степенью условности трактовать как эффективность функционировани научных институтов в данной стране: предполагается, что те статьи, на которые в научной литературе ссылок не было, можно считать холостой продукцией.
Тут, конечно, надо иметь в виду, что если опубликованная в 2005 г. статья за последующие пять лет не вызвала никакого интереса у коллег, то, наверное, она может быть отнесена к издержкам научного процесса. Но для статьи, вышедшей в 2009 г., такой вывод может оказаться поспешным.
Для большей наглядности в соседнем столбце приведен «относительный индекс», показывающий отклонение этого процентного показателя от среднемирового (т.е. рассчитанного с учетом данных для всех стран, которых более ста, а не только для 40 ведущих). Пусть с надлежащими оговорками, но представляемый показатель можно интерпретировать как отражающий сравнительную эффективность функционирования научных институтов в отдельно взятой стране на фоне среднего общемирового уровня.
Наконец, для того, чтобы соотнести показатель «эффективности» с «качеством» функционирования научных институтов, в последнем столбце приведено место страны (в пределах рассматриваемой выборки из 40 стран) на основе интегрального импакт-фактора, рассчитанного для всех статей во всех научных областях за рассматриваемое пятилетие 2005-2009 гг.
Как видно из таблицы, во главе ее оказались «малые» страны – Дания, Швейцария, Нидерланды, Швеция, Шотландия (в отличие от предыдущей таблицы, Англия и Шотландия рассматривались отдельно). В десятке сильнейших оказались также Финляндия, Бельгия и Норвегия. Сосредоточив ресурсы на немногочисленных «горячих» направлениях, эти сравнительно небольшие, но весьма развитые страны показали лучшие результаты как по «эффективности» выхода научной продукции, так и по ее «качеству».
Из стран «большой семерки» с их значительно большим охватом научных направлений и большим валовым выходом опубликованных статей, в десятке оказались только Англия (6-е места по обоим показателям) и США (8-е место по «эффективности» и пятое по импакт-фактору). Менее впечатляют позиции других стран G7: Германия – 11 место (9-е по импакт-фактору), Канада – 12 (12), Италия – 14 (16), Франция – 18 (15), Япония – 21 (22). Отметим также 33 место (по обоим индикаторам) Китая, который по количеству опубликованных за пятилетие статей уступает только США, но относительный индекс «эффективности» на 12% ниже среднемирового.
Россия занимает в таблице предпоследнюю, 39-ю строку, причем находится, наряду с Ираном, Украиной и Румынией, в четверке стран, значительно отстающих по относительному индексу цитирования от остальных 36 стран. По общему количеству опубликованных за пятилетие статей наша страна находится на 14-м месте, значительно уступая по этому валовому показателю всем странам G7: разница с США – в 12 раз, с Англией (без Шотландии и Уэльса!) – почти в три раза.
При этом на 55% опубликованных за минувшие пять лет статей не было ни одной ссылки в работах коллег – что ниже среднемирового показателя (на уровне которого находятся делящие в таблице 24-е место Венгрия и Греция) на 29%. Эта цифра, при всей ее условности (не будем повторять уже прозвучавшие выше оговорки, применимые, впрочем, ко всем странам), чрезвычайно тревожна, ибо свидетельствует о крайне низкой эффективности работы российских ученых. Интегральный импакт-фактор тоже не вдохновляет – 37-е место. Какая уж тут G7 – отставание нарастает не только от ведущих научных держав, но и от середнячков!
Наверное, нет смысла в очередной раз рассуждать о необходимости осознать реальное место российской науки на мировой научной карте. Как и повторять следующие из такового осознания выводы о необходимости радикально менять систему организации, управления и финансирования российской науки – они озвучивались много раз. Будут ли эти выводы преобразованы в реальные дела – вот главный вопрос, остающийся открытым.
Примечания:
- В. Аджиев. «Научная деятельность и формальные индикаторы» // ТрВ № 14 (842), 14 октября 2008 г. С. 4.
- В. Аджиев, Н. Демина. «Ранжирование научного вклада разных стран на основе импакт-фактора цитируемости» // ТрВ № 14 (842), 14 октября 2008 г. С. 4-5.
- В. Аджиев. «Показатели научной продуктивности разных стран в период 2004-08» // ТрВ № 19 (38), 29 сентября 2009 г. С. 3.
- “How the G7 nations compare in research performance” // Times Higher Education, № 1951, 10 June 2010. P.21.
- “The most-cited nations” // Times Higher Education, № 1952, 17 June 2010. P.19.
- http://science.thomsonreuters.com/products/nsi
- “Britain closes science-citations gap on US”, Times Higher Education, № 1951, 10 June 2010. P.9.