Интегральный наукометрический показатель

Критерии оценки результативности фундаментальных научных исследований можно разделить на качественные и количественные показатели. Еще с советских времен отечественные ученые привыкли именно к качественным показателям – научные регалии (ученые степени и звания), отзывы экспертов (оппонирование диссертаций, рецензирование статей, экспертиза заявок на гранты), научное признание (научные премии и награды) и т.д. Экспертная оценка – очень трудная и зачастую необъективная вещь (особенно в нашей стране), поэтому были разработаны количественные наукометрические показатели. Основные из них – это число статей, индекс цитирования, индекс Хирша, импакт-фактор. В современной России при оценке результативности науки наукометрические показатели используются все шире. Например, в конкурсной документации для участия в Федеральной целевой программе «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» необходимо указывать число публикаций и число цитирований за последние пять лет, а также индекс Хирша по данным трех основных баз данных: Web of Science, Scopus и РИНЦ. Определенные требования к числу статей в индексируемых в базах данных Web of Science и Scopus предъявляет Российский научный фонд. В Российской академии наук разработан комплексный индикатор – ПРНД, определяемый на основе учета числа статей, импакт-факторов журналов и др. Созданы базы данных, содержащие основные наукометрические показатели деятельности отечественных ученых: проект «Кто есть кто в российской науке» и министерская «Карта российской науки».

Следует признать, что количественные наукометрические показатели абсолютно беспристрастны, но и они далеко не идеальны. Импакт-фактора никак не отражает качества отдельно взятой работы, опубликованной в журнале, а характеризует журнал в целом. Можно опубликовать статью в высокоимпактном журнале, которая не получит ни одного цитирования. Индекс цитирования в свою очередь не учитывает в явном виде уровень журналов, в которых опубликованы цитируемые статьи. Относительно этого индекса статьи, опубликованные в известных признанных изданиях с высоким импакт-фактором и статьи в низкопробных журналах с низким или нулевым импакт-фактором, но процитированные одинаковое число раз, эквиваленты. Это значит, что научные сотрудники за счет договорного перекрестного цитирования статей друг друга, публикуемых в нечитаемых никем, кроме них самих, «местечковых» журналах с низким или нулевым импакт-фактором, могут нагнать себе довольно значительные индексы цитирования. Число статей уравнивает публикации в известных признанных изданиях с самыми высокими импакт-факторами и статьи в мало кому известных журналах с низкими или даже нулевыми импакт-факторами. Кроме того, статьи могут по-разному цитироваться, что также говорит об их неравнозначности, но никак не отражается этим показателем. Считается, что индекс Хирша на данный момент дает самую адекватную оценку научной результативности исследователя по сравнению с такими простыми характеристиками, как общее число статей или индекс цитирования. Однако и он не лишен недостатков, например, он явно никак не учитывает уровень научного издания (импакт-фактор), в которых опубликованы статьи. Кроме того, индекс Хирша плохо учитывает наиболее важные работы с максимальной цитируемостью. Здесь приведена лишь небольшая часть недостатков основных наукометрических показателей. Более полный перечень с реальными примерами можно найти в работе [1]. Рассмотренные недостатки каждого из наукометрических показателей в отдельности, а также неудобство их совместного использования стимулируют поиск других количественных критериев [1]. Ниже предложен новый интегральный показатель, устраняющий вышеперечисленные недостатки основных наукометрических показателей.

Интегральный наукометрический показатель вычисляется по формуле:

  , (1)

здесь n – число статей, f_i – импакт-факторы журналов, в которых опубликованы статьи, c_i – число цитирований статьи, опубликованной в журнале с импакт-фактором f_i. Оценка результативности фундаментальных научных исследований с использованием каждого наукометрического показателя, входящего в формулу (1), по отдельности иногда бывает некорректной. Рассматривать одновременно несколько величин просто неудобно. Поэтому введение в практику оценки результативности фундаментальных научных исследований интегрального наукометрического показателя может быть целесообразно потому, что он нивелирует часть недостатков известных наукометрических показателей.

Для наглядности проведем характеристику интегрального наукометрического показателя на мысленном примере сравнения результативности научных исследований вымышленных персонажей. Рассмотрим трех научных сотрудников A, B, C, имеющих публикации, охарактеризованные в таблице 1. Заметим, что наукометрические показатели, указанные в таблице 1 вымышлены и могут значительно отличаться от аналогичных реальных показателей. Проведем сравнение исследователей A, B, C по каждому из наукометрических показателей.

Если в качестве критерия результативности исследований выбрать число публикаций n, то самым научно-продуктивным окажется последний исследователь C (с числом публикаций n=5), а наименее эффективным – первый, обозначенный буквой A (с числом публикаций n=3). Если же во внимание принять только индекс цитирования c, то научные результативности обоих сотрудников A и C окажутся эквивалентными (у обоих c=28). Наглядно видно, что лишь одного из параметров n или c явно недостаточно. При оценке научной результативности следует рассматривать одновременно оба этих количественных параметра. При этом кажется очевидным, что при равных индексах цитирования более успешным следует признать того, у кого больше число статей (при одинаковых значениях c), т.е. ученого, обозначенного буквой C.

Таблица 1. Характеристика публикаций вымышленных исследователей A, B, C

Введем в рассмотрение исследователя B, который по числу статей n занимает промежуточную позицию (с числом публикаций n=4) между A и C. Индекс цитирования c сотрудника B оказывается равным 18, что заметно ниже аналогичного значения исследователей A и C. При сравнительной оценке научной результативности B и C никаких сомнений не возникает. У последнего ученого C (n=5, c=28) оба наукометрических показателя больше, чем у научного сотрудника B (n=4, c=18), а значит, научный результат его следует признать более весомым.

Совсем непростая ситуация возникает при сравнении научных достижений A и B. Если смотреть по числу статей, то более результативным окажется второй. Если же принять во внимание индекс цитирования, то напротив значимость результата первого оказывается выше. Здесь рассмотрение одновременно двух наукометрических показателя n и c не позволяет принять решение, чья результативность выше. Какой из критериев важнее, объективнее и честнее: число статей или индекс цитирования? Смысл у них совершенно разный и сравнивать, и выбирать из них некорректно. Первый характеризует активность и работоспособность самого исследователя, а второй – интерес к его работам со стороны коллег. Поэтому следует признать, что оба этих критерия важны. Естественным образом возникает необходимость ввести в рассмотрение третий показатель – индекс Хирша h, который учитывает, как число статей, так и их цитирование. Но, значения n и c в таблице 1 подобраны специально таким образом, чтобы индекс Хирша для всех трех научных сотрудников оказывается одинаковым (h=3). В расчете величины h не фигурирует импакт-фактор журналов f, в которых опубликованы статьи, хотя кажется очевидным, что результат, опубликованный в Nature (f=38.597) несравненно более значим, чем результат, опубликованный в Вестнике Московского университета. Серия 3. Физика. Астрономия (f=0.225). Поэтому необходимо принять во внимание и этот параметр тоже в виде среднего значения импакт-фактора f_a по всем журналам, в которых опубликованы статьи. Но, значения n и f в таблице 1 подобраны специально таким образом, чтобы средние значения f_a для исследователей A и B оказалось равны. Таким образом, складывается ситуация, что, несмотря на учет все четырех наукометрических показателей, надежного численного критерия результативности научных исследований, проводимых A и B, нет.

Более того, при введении в рассмотрение среднего импакт-фактора возникают дополнительные трудности в сравнении исследователей A и C. Выше при рассмотрении лишь двух наукометрических показателя (число статей и индекс цитирования) был сделан вывод о том, что научные результаты сотрудника C важнее, чем результаты его коллеги A. Так как у C число публикаций больше, чем у A при одинаковых значениях индексов цитирования и Хирша. Если же теперь принять во внимание средний импакт-фактор журналов, в который опубликованы научные результаты A и C, то оказывается, что напротив результаты сотрудника A важнее (f_a=3), чем результаты его коллеги C (f_a=2). Вновь возникает необходимость выбора, какой из двух наукометрических показателей важнее: число статей или средний импакт-фактор? И ответ вновь тот же: смысл у них совершенно разный и сравнивать, и выбирать из них некорректно.

Вышеописанный мысленный пример призван продемонстрировать, что распространенная практика использования даже нескольких наукометрических показателей не совсем корректна и удобна. Этим обусловлена необходимость введения в практику нового интегрального показателя k, рассчитываемого по формуле (1). При расчете величины k принимается во внимание основные наукометрические показатели. Расчет интегрального показателя k для вымышленных исследователей A, B, C приведен в последнем столбце таблицы 1. С помощью величины k можно однозначно оценивать результативность их научной работы. Из таблицы 1 видно, что интегральный показатель является ключевым в случае, когда прочие наукометрические показатели примерно близки.

Величина k имеет наглядную геометрическую интерпретацию (рисунок 1).

Каждое из слагаемых, входящих в сумму (1) представляет собой площадь прямоугольника со сторонами f_i и c_i. Т.е. каждая статья эквивалента прямоугольнику со сторонами f_i и c_i. Чем больше статей, тем больше прямоугольников, тем больше соответственно их суммарная площадь. Замечательная особенность интегрального наукометрического показателя k заключается в том, что он отсекает и не принимает в расчет малозначимые статьи, опубликованные в журналах с нулевым импакт-фактором (f_i=0). Также не вносят вклада статьи, на которых никто не ссылается (c_i=0). В обоих случая произведение f_i∙c_i=0. Геометрически это эквивалентно тому, что прямоугольник вырождается в прямую линию с нулевой площадью.

Из таблицы 1 видно, что для достижения высоких значений показателя k недостаточно писать много статей, пусть даже и высокоцитируемых. Нужно писать много высокоцитируемых статьей в хорошие высокоимпактные журналы.

Рассмотрим теперь примеры применения интегрального наукометрического показателя для оценки результативности фундаментальных научных исследований, проводимых реальными научными сотрудниками Института проблем химической физики РАН (таблица 2). Для расчета будем пользоваться наукометрическими данными РИНЦ.

Таблица 2. Наукометрические данные научных сотрудников Института проблем химической физики РАН по данным РИНЦ

В таблице 2 представлены наукометрические данные различных авторов, которые образуют три группы (первая группа – это исследователи под номерами 1 и 2, вторая – 3 и 4, третья – 5 и 6). В каждой группе по два сотрудника с близкими значениями индекса Хирша (в первой и второй группе также близки значения n и c). Поэтому могло бы показаться, что их научная результативность одинакова. Однако интегральный наукометрический показатель позволяет однозначно утверждать, что это совсем не так. Внутри каждой группы он различается приблизительно втрое при прочих приблизительно равных показателях. Кроме того, анализ третьей группы свидетельствует о том, что при близких значениях индекса Хирша, число статей и индекс цитирования являются некорректными показателями, так как дают ложные оценки результативности научной работы. Таблица 2 прямо свидетельствует о том, что мысленные примеры из таблицы 1 не являются надуманными. В практике оценки научной результативности имеют место ситуации, когда обходиться без интегрального наукометрического показателя очень трудно. Более того, игнорирование этого универсального показателя может приводить не только к грубым ошибкам, но и к совершенно абсурдным результатам.

А.И. Дмитриев,
Институт проблем химической физики РАН

1. http://eqworld.ipmnet.ru/ru/info/sci-edu/Polyanin_IndexH_2014.html