Интегральный наукометрический показатель

Критерии оценки результативности фундаментальных научных исследований можно разделить на качественные и количественные показатели. Еще с советских времен отечественные ученые привыкли именно к качественным показателям – научные регалии (ученые степени и звания), отзывы экспертов (оппонирование диссертаций, рецензирование статей, экспертиза заявок на гранты), научное признание (научные премии и награды) и т.д. Экспертная оценка – очень трудная и зачастую необъективная вещь (особенно в нашей стране), поэтому были разработаны количественные наукометрические показатели. Основные из них – это число статей, индекс цитирования, индекс Хирша, импакт-фактор. В современной России при оценке результативности науки наукометрические показатели используются все шире. Например, в конкурсной документации для участия в Федеральной целевой программе «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» необходимо указывать число публикаций и число цитирований за последние пять лет, а также индекс Хирша по данным трех основных баз данных: Web of Science, Scopus и РИНЦ. Определенные требования к числу статей в индексируемых в базах данных Web of Science и Scopus предъявляет Российский научный фонд. В Российской академии наук разработан комплексный индикатор – ПРНД, определяемый на основе учета числа статей, импакт-факторов журналов и др. Созданы базы данных, содержащие основные наукометрические показатели деятельности отечественных ученых: проект «Кто есть кто в российской науке» и министерская «Карта российской науки».

Следует признать, что количественные наукометрические показатели абсолютно беспристрастны, но и они далеко не идеальны. Импакт-фактора никак не отражает качества отдельно взятой работы, опубликованной в журнале, а характеризует журнал в целом. Можно опубликовать статью в высокоимпактном журнале, которая не получит ни одного цитирования. Индекс цитирования в свою очередь не учитывает в явном виде уровень журналов, в которых опубликованы цитируемые статьи. Относительно этого индекса статьи, опубликованные в известных признанных изданиях с высоким импакт-фактором и статьи в низкопробных журналах с низким или нулевым импакт-фактором, но процитированные одинаковое число раз, эквиваленты. Это значит, что научные сотрудники за счет договорного перекрестного цитирования статей друг друга, публикуемых в нечитаемых никем, кроме них самих, «местечковых» журналах с низким или нулевым импакт-фактором, могут нагнать себе довольно значительные индексы цитирования. Число статей уравнивает публикации в известных признанных изданиях с самыми высокими импакт-факторами и статьи в мало кому известных журналах с низкими или даже нулевыми импакт-факторами. Кроме того, статьи могут по-разному цитироваться, что также говорит об их неравнозначности, но никак не отражается этим показателем. Считается, что индекс Хирша на данный момент дает самую адекватную оценку научной результативности исследователя по сравнению с такими простыми характеристиками, как общее число статей или индекс цитирования. Однако и он не лишен недостатков, например, он явно никак не учитывает уровень научного издания (импакт-фактор), в которых опубликованы статьи. Кроме того, индекс Хирша плохо учитывает наиболее важные работы с максимальной цитируемостью. Здесь приведена лишь небольшая часть недостатков основных наукометрических показателей. Более полный перечень с реальными примерами можно найти в работе [1]. Рассмотренные недостатки каждого из наукометрических показателей в отдельности, а также неудобство их совместного использования стимулируют поиск других количественных критериев [1]. Ниже предложен новый интегральный показатель, устраняющий вышеперечисленные недостатки основных наукометрических показателей.

Интегральный наукометрический показатель вычисляется по формуле:

f
  , (1)

здесь n – число статей, fi – импакт-факторы журналов, в которых опубликованы статьи, ci – число цитирований статьи, опубликованной в журнале с импакт-фактором fi. Оценка результативности фундаментальных научных исследований с использованием каждого наукометрического показателя, входящего в формулу (1), по отдельности иногда бывает некорректной. Рассматривать одновременно несколько величин просто неудобно. Поэтому введение в практику оценки результативности фундаментальных научных исследований интегрального наукометрического показателя может быть целесообразно потому, что он нивелирует часть недостатков известных наукометрических показателей.

Для наглядности проведем характеристику интегрального наукометрического показателя на мысленном примере сравнения результативности научных исследований вымышленных персонажей. Рассмотрим трех научных сотрудников A, B, C, имеющих публикации, охарактеризованные в таблице 1. Заметим, что наукометрические показатели, указанные в таблице 1 вымышлены и могут значительно отличаться от аналогичных реальных показателей. Проведем сравнение исследователей A, B, C по каждому из наукометрических показателей.

Если в качестве критерия результативности исследований выбрать число публикаций n, то самым научно-продуктивным окажется последний исследователь C (с числом публикаций n=5), а наименее эффективным – первый, обозначенный буквой A (с числом публикаций n=3). Если же во внимание принять только индекс цитирования c, то научные результативности обоих сотрудников A и C окажутся эквивалентными (у обоих c=28). Наглядно видно, что лишь одного из параметров n или c явно недостаточно. При оценке научной результативности следует рассматривать одновременно оба этих количественных параметра. При этом кажется очевидным, что при равных индексах цитирования более успешным следует признать того, у кого больше число статей (при одинаковых значениях c), т.е. ученого, обозначенного буквой C.

Таблица 1. Характеристика публикаций вымышленных исследователей A, B, C

Научный сотрудник

Импакт-факторы журналов fi и число цитирований каждой статьи ci

Число статей n

Индекс цитирования c

Индекс Хирша h

Средний импакт-фактор fa

Интегральный наукометрический показатель k

A

f1=6, c1=5

f2=3, c2=3

f3=0, c3=20

3

28

3

3

39

B

f1=10, c1=0

f2=1, c2=3

f3=1, c3=5

f4=0, c4=10

4

18

3

3

8

C

f1=5, c1=20

f2=1, c2=3

f3=2, c3=0

f4=1, c4=5

f5=1, c5=0

5

28

3

2

108

Введем в рассмотрение исследователя B, который по числу статей n занимает промежуточную позицию (с числом публикаций n=4) между A и C. Индекс цитирования c сотрудника B оказывается равным 18, что заметно ниже аналогичного значения исследователей A и C. При сравнительной оценке научной результативности B и C никаких сомнений не возникает. У последнего ученого C (n=5, c=28) оба наукометрических показателя больше, чем у научного сотрудника B (n=4, c=18), а значит, научный результат его следует признать более весомым.

Совсем непростая ситуация возникает при сравнении научных достижений A и B. Если смотреть по числу статей, то более результативным окажется второй. Если же принять во внимание индекс цитирования, то напротив значимость результата первого оказывается выше. Здесь рассмотрение одновременно двух наукометрических показателя n и c не позволяет принять решение, чья результативность выше. Какой из критериев важнее, объективнее и честнее: число статей или индекс цитирования? Смысл у них совершенно разный и сравнивать, и выбирать из них некорректно. Первый характеризует активность и работоспособность самого исследователя, а второй – интерес к его работам со стороны коллег. Поэтому следует признать, что оба этих критерия важны. Естественным образом возникает необходимость ввести в рассмотрение третий показатель – индекс Хирша h, который учитывает, как число статей, так и их цитирование. Но, значения n и c в таблице 1 подобраны специально таким образом, чтобы индекс Хирша для всех трех научных сотрудников оказывается одинаковым (h=3). В расчете величины h не фигурирует импакт-фактор журналов f, в которых опубликованы статьи, хотя кажется очевидным, что результат, опубликованный в Nature (f=38.597) несравненно более значим, чем результат, опубликованный в Вестнике Московского университета. Серия 3. Физика. Астрономия (f=0.225). Поэтому необходимо принять во внимание и этот параметр тоже в виде среднего значения импакт-фактора fa по всем журналам, в которых опубликованы статьи. Но, значения n и f в таблице 1 подобраны специально таким образом, чтобы средние значения fa для исследователей A и B оказалось равны. Таким образом, складывается ситуация, что, несмотря на учет все четырех наукометрических показателей, надежного численного критерия результативности научных исследований, проводимых A и B, нет.

Более того, при введении в рассмотрение среднего импакт-фактора возникают дополнительные трудности в сравнении исследователей A и C. Выше при рассмотрении лишь двух наукометрических показателя (число статей и индекс цитирования) был сделан вывод о том, что научные результаты сотрудника C важнее, чем результаты его коллеги A. Так как у C число публикаций больше, чем у A при одинаковых значениях индексов цитирования и Хирша. Если же теперь принять во внимание средний импакт-фактор журналов, в который опубликованы научные результаты A и C, то оказывается, что напротив результаты сотрудника A важнее (fa=3), чем результаты его коллеги C (fa=2). Вновь возникает необходимость выбора, какой из двух наукометрических показателей важнее: число статей или средний импакт-фактор? И ответ вновь тот же: смысл у них совершенно разный и сравнивать, и выбирать из них некорректно.

Вышеописанный мысленный пример призван продемонстрировать, что распространенная практика использования даже нескольких наукометрических показателей не совсем корректна и удобна. Этим обусловлена необходимость введения в практику нового интегрального показателя k, рассчитываемого по формуле (1). При расчете величины k принимается во внимание основные наукометрические показатели. Расчет интегрального показателя k для вымышленных исследователей A, B, C приведен в последнем столбце таблицы 1. С помощью величины k можно однозначно оценивать результативность их научной работы. Из таблицы 1 видно, что интегральный показатель является ключевым в случае, когда прочие наукометрические показатели примерно близки.

Величина k имеет наглядную геометрическую интерпретацию (рисунок 1).

Рисунок 1. Наглядная геометрическая интерпретация интегрального наукометрического показателя k. Красные фигуры соответствуют научному сотруднику A, зеленые – B, синие – C (см. таблицу 1). Каждая фигура символизирует одну статью. Прямые линии отвечают статьям с нулевой цитируемостью или статьям, опубликованным в журналах с нулевым импакт-фактором. Цитируемость соответствует длине фигуры, импакт-фактор – высоте фигуры. Масштаб: 1 балл fi или ci эквивалентен 0.1 см длины

Рисунок 1. Наглядная геометрическая интерпретация интегрального наукометрического показателя k. Красные фигуры соответствуют научному сотруднику A, зеленые – B, синие – C (см. таблицу 1). Каждая фигура символизирует одну статью. Прямые линии отвечают статьям с нулевой цитируемостью или статьям, опубликованным в журналах с нулевым импакт-фактором. Цитируемость соответствует длине фигуры, импакт-фактор – высоте фигуры. Масштаб: 1 балл fi или ci эквивалентен 0.1 см длины

Каждое из слагаемых, входящих в сумму (1) представляет собой площадь прямоугольника со сторонами fi и ci. Т.е. каждая статья эквивалента прямоугольнику со сторонами fi и ci. Чем больше статей, тем больше прямоугольников, тем больше соответственно их суммарная площадь. Замечательная особенность интегрального наукометрического показателя k заключается в том, что он отсекает и не принимает в расчет малозначимые статьи, опубликованные в журналах с нулевым импакт-фактором (fi=0). Также не вносят вклада статьи, на которых никто не ссылается (ci=0). В обоих случая произведение fici=0. Геометрически это эквивалентно тому, что прямоугольник вырождается в прямую линию с нулевой площадью.

Из таблицы 1 видно, что для достижения высоких значений показателя k недостаточно писать много статей, пусть даже и высокоцитируемых. Нужно писать много высокоцитируемых статьей в хорошие высокоимпактные журналы.

Рассмотрим теперь примеры применения интегрального наукометрического показателя для оценки результативности фундаментальных научных исследований, проводимых реальными научными сотрудниками Института проблем химической физики РАН (таблица 2). Для расчета будем пользоваться наукометрическими данными РИНЦ.

Таблица 2. Наукометрические данные научных сотрудников Института проблем химической физики РАН по данным РИНЦ

Научный сотрудник

Число статей n

Индекс цитирования c

Индекс Хирша h

Средний импакт-фактор fa

Интегральный наукометрический показатель k (округленный до целых)

1.

Дмитриев А.И., к.ф.-м.н., с.н.с.

54

116

5

0.993

145

2.

Кулагина Т.П., д.ф.-м.н., зав. лаб.

37

120

5

0.511

41

3.

Левченко А.В., к.х.н., с.н.с.

55

236

8

1.062

220

4.

Спицына Н.Г., к.х.н., с.н.с.

44

277

8

0.574

73

5.

Акимов А.В., к.ф.-м.н., с.н.с.

77

556

12

2.551

1510

6.

Михайлов А.И., д.х.н., г.н.с.

229

876

11

0.678

469

В таблице 2 представлены наукометрические данные различных авторов, которые образуют три группы (первая группа – это исследователи под номерами 1 и 2, вторая – 3 и 4, третья – 5 и 6). В каждой группе по два сотрудника с близкими значениями индекса Хирша (в первой и второй группе также близки значения n и c). Поэтому могло бы показаться, что их научная результативность одинакова. Однако интегральный наукометрический показатель позволяет однозначно утверждать, что это совсем не так. Внутри каждой группы он различается приблизительно втрое при прочих приблизительно равных показателях. Кроме того, анализ третьей группы свидетельствует о том, что при близких значениях индекса Хирша, число статей и индекс цитирования являются некорректными показателями, так как дают ложные оценки результативности научной работы. Таблица 2 прямо свидетельствует о том, что мысленные примеры из таблицы 1 не являются надуманными. В практике оценки научной результативности имеют место ситуации, когда обходиться без интегрального наукометрического показателя очень трудно. Более того, игнорирование этого универсального показателя может приводить не только к грубым ошибкам, но и к совершенно абсурдным результатам.

А.И. Дмитриев,
Институт проблем химической физики РАН

1. http://eqworld.ipmnet.ru/ru/info/sci-edu/Polyanin_IndexH_2014.html

20 комментариев

  1. уважаемый ЛСК, «говорить о необходимости» и предложить формулу — разные вещи.
    Вот человек предложил. Ну предложите свою, если эта не устраивает.
    Вот только не нужно перечислять отвергнутых гениев и на этом основании создавать ощущение, что для них никакая шкала не подходит. Ведь говорят о зарплате десятков тысяч обычных научных сотрудников, в отношении которых просто геноцид какой-то в стране развернули. По большей части это происходит от того, что они считают себя все поголовно гениальными и далеко за пределами каких-либо оценок.
    Но это, во-первых, неправильно. Во-вторых, открывает дорогу бездельникам, которые тоже считают себя гениальными. В-третьих, не дает простому директору или бухгалтеру формализовать их гениальность в цифрах.
    А ваши высказывания, на мой взгляд, только прибавляют тумана и еще больше отдаляют возможность адекватной оценки ученых. Два токаря ведь тоже с разной аккуратностью работают. Один и точнее, и место рабочее у него убрано, и творческий он, металл экономит…Ну давайте и токарям введем поправки на творчество. К чему все это?
    И я хоть и обещал сюда больше не заглядывать из за Максима Борисова, который оголтело перевирает все написанное, не позволяет ложь называть ложью, но зато позволяет себе надменные коментарии по поводу того, о чем он даже приблизительно не знает), все же счел необходимым ответить вам, поскольку думаю, что вы пристойный человек, который однако зачем-то расшатывает хоть какие-то системы оценок, ничего не предлагая взамен. Зачем? Чтобы заметили Б.?
    Это все детский такой незрелый подход. Ну давайте мы вместо того, чтобы думать о десятках тысяч, будем тормозить все дело из-за одного единственного Б. А потом окажется, что у того просто иные причины были для такого поведения.
    Согласитесь, что очень много псевдонаучных сотрудников пользуются тем, что нет критериев их работы, и откровенно не работают. Лично я вижу это каждый джень вокруг себя. И мне не кажется, что работа должна сводится к лежанию на диване и «думанию».

  2. что касается «гамбургского счета»…
    Я ведь тоже могу привести примеры, когда этим счетом спекулировали, когда группы людей игнорировали блестящих ученых именно по этому счету..можно рассказать и о том, как по этому счету в сообщество входили бездари и тупицы (член-кор Шамхалов чем не пример? Он именно по гамбургскому счету вошел)
    Именно гамбургский счет, будучи употребленным не в Гамбурге, а в РФ и привел к полной разрухе в науке.

  3. Я не пытаюсь добиться, чтобы заметили моего ученика Б. Он замечен, его знают и он дожил до пенсионного возраста. Я пытаюсь добиться совсем другого для малых и крупных гениев науки. По Вашему плох тот, кто «В-третьих, не дает простому директору или бухгалтеру формализовать их гениальность в цифрах». Вот я побаиваюсь простого директора или бухгалтера, которые будут формализовать их гениальность в цифрах. Потому что, в-первых, все индексы составляются людьми и могут содержать незамеченные ошибки. Во-вторых, еще большие ошибки возможны в применении этих индексов — искажать их могут как сами индексируемые (набивать себе температуру), так и бухгалтера — то учел, это не учел, где-то придрался к форме. Вот поэтому я не «расшатываю» системы оценок, а призываю к разумному ограничению индексов (у каждого должны быть границы применимости) и к расширению критериев оценок. Вы требуете, чтобы я сам предложил индекс? Я не математик. Я потребитель и, если угодно, оценщик.
    Или пробный камень.

  4. ну если вы их «побаиваетесь», то как вы хотите добиться нормальной зарплаты за свой труд? Директор и бухгалтер по вашему могут все искажать, а те, кто пальцем в небо «по гамбургскому счету» — эти всегда правы?
    — Они (гамбургские счетчики) не несут не за что никакой ответственности,
    — они руководствуются только тем, что до них смогло дойти, иногда не зная, что великие вещи делаются просто в соседней комнате,
    — они свой счет распространяют чаще всего на своих собутыльников, безропотно следуют указаниям дирекции,
    — они не совершают никакой работы по объективной оценке — так брякнул просто…каприз художника))
    — наконец, почему, например, молодой сотрудник или старый но независимый, должен как дым в глаза лезть какому-то Ивану Никифоровичу, чтобы его тот учел в своем гамбургском счете? Почему нельзя просто работать и отчитываться результатами дирекции, а не искать благословения Ивана Никифоровича?
    Почему нельзя соблюдать главное преимущество научной деятельности «НЕЗАВИСИМОСТЬ».
    — кто-то должен же был выбрать и Ивана Никифоровича, чтоб он гамбурский счет осуществлял. Мне 45, я доктор более 10-ти лет, и ни разу не довелось что-либо выбирать и за кого-либо голосовать. Откуда тогда взялся Иван Никифорович? Кто его назначил? И почему его слова — «гамбургский счет», когда у него публикаций то давно нет?

    Все это простая демагогия, основанная на том, что распределение денег происходило до сих пор навскидку, под действием случайных импульсов в сторону «счетчиков». Этим успешно пользовались проходимцы, заменяя работу общением с «гамбургскими счетчиками». Как в этих условиях должны чувствовать себя те научные сотрудники, которые не покидая лаборатории работают, пишут хорошие статьи, которые счетчики никогда не читают (или вы верите, что они простреливают все публикации?). Как живут в этих условиях научные сотрудники, не имеющие доступа к столу или не желающие его добиваться? Я, например, не желаю.
    А хочу просто честно работать и плевать на мнение Ивана Никифоровича, который тоже обязан честно делать свою работу, а не быть оценщиком и не превращаться в старушку процентщицу.

  5. В защиту Хирша
    Два примера, когда предложенный ИНП даёт ложные результаты.
    1) У Acta Crystallogr. A типичный IF на уровне 2, но два года он был 50 и 54 из-за публикации одной-единственной долгожданной статьи Шелдрика. Вот бы подскочил ИНП у тех, кому повезло там опубликоваться в эти годы! А на h-индекс это никак не влияет.
    2) У меня есть одна не выдающаяся, но высокоцитируемая статья (просто попала в модную струю), и в ней соавтором студентка, более ничем не отличившаяся. Благодаря этой статье у неё ИНП=160 (при h=1), т.е. как у хорошего молодого учёного, опубликовавшего 10 статей в приличном журнале (IF=2), которые цитировались по 8 раз (h=8).
    Так что число и последовательность соавторов надо учитывать. А Хирша желательно считать без самоцитирования. В Scopus это есть, а в WoK я не нашёл такой возможности.
    Но, разумеется, нельзя сравнивать по Хиршу химиков с археологами и даже с математиками. Там нужны отдельные шкалы.

  6. Мне лично не нравится сама идея интегральных показателей. Импакты журналов, цитирование, Хирш — суть простые статистические данные. Они реально могут помочь эксперту вынести суждение о достижениях ученого или коллектива (если выборка достаточно большая). А вот попытки вывести универсальные индексы, заменяющие экспертную оценку, обречены на провал (ИМХО). И именно эти попытки порождают негативное восприятие наукометрических (статистических) показателей.

    1. Естественно, несколько разных показателей (тем более имеющих более прозрачный смысл) более информативны чем один как бы «интегральный» показатель. А попытки вывести универсальные индексы, заменяющие экспертную оценку, вредны в первую очередь тем, что укрепляют у чиновников иллюзию, что такой подход является адекватным.

  7. Предлагаемый показатель ИНП хуже, чем известные. Если хорошая статья опубликована в журнале с высоким IF, то она и так будет много цитироваться. А благодаря этому ИНП, даже слабая работа случайно или «по знакомству» прошедшая в журнал с высоким IF будет иметь больший вес по-сравнению с хорошей статьёй, опубликованной в среднем журнале. На моём примере этот индекс выгладит особенно абсурдно. Вообще-то я математик, но когда-то опубликовал заметку в молбиол. журнале, где просто поясняются некоторые математические термины, которыми некорректно пользовались биоинформатики. По формуле ИНП вклад этой заметки будет примерно 500 (IF=7, цитирований 70) и перевешивает всё, что я опубликовал по математике. Перельман со своими статьями в arxive может только мечтать о столь весомых достижениях.
    Если уж использовать IF в качестве веса, то нужно учитывать IF журнала, в котором процитирована статья, а не того где напечатана.

  8. согласен с Владимиром…
    ИФ журнала вообще непонятная вещь — результат, скорее каких-то менеджерских штучек…
    Примеры.
    1. Вот скажите, например, если экспериментатор обнаружил что-то очень новое, крутое и важное, как ему поступить?
    — послать в крутой журнал (чтобы гадать, возьмут, не возьмут, да еще подвергаться риску, что не взяв, они сами быстренько все сделают)
    — или послать в не очень импактный но верняковый журннал, в котором статья точно выйдет и ее точно прочтут?
    Я выбираю второй вариант.

    2. Вы хороший, но молодой ученый. И сделали свою первую статью, которую хотите опубликовать в американском высокоимпактном журнале.
    Каков шанс без заботливых американских соавторов ее там опубликовать?

    3. Вы работаете в России, а все импактные журналы в америках..
    Их журналы в первую очередь заточены на обслуживание своих, по одной простой причине — они все включены в круговорот ИХ научных денег.
    А вы со стороны. Как думаете будет с вашей статьей?

    4. Вы не стали в куче америкосов заниматься тем, что давно уже сделано (графеном, и т.п.) а взяли и открыли свою супер-пупер сверх-гига-и т.п. проводимость, вязкоcть, пластичность…
    Словом совсем не то, что в мейнстриме.
    Что думаете? Редактор PRL дрожащими руками заботливо примет у вас такую статью? Плюнет он вам в рожу и напишет, чтобы слали в другой журнал.

    Вот этот такой списочек я мог бы продолжать и продолжать.
    Да и все, кто публикуется, все это знают (кроме, разумеется, самоуверенных постдоков, которые свято верят, что в паре с немецким профессором это именно он Пупкин дает главный вклад в публикабельность статей)

    Так что не все так просто. А чтобы было просто, нужно жить и работать в Европе и писать в свои журналы.

    1. Никто ж в здравом уме не предлагает сделать импакт журнала ЕДИНСТВЕННЫМ критерием.

      Теперь о примерах.

      1. Наряду с Вами в «верняковый» журнал пошлют кучу всякого отстоя. А если Вы сделали что-то крутое и важное, то это будет видно по цитируемости.

      2. Ну суть важно, что Вы «хотите опубликовать в американском высокоимпактном журнале». Важно, ЧТО ИМЕННО Вы хотите опубликовать. Высокие импакты достигаются не за счет того, что публикуют своих. А за счет того, что отбирают работы, которые будут цитироваться и (или) создавать журналу репутацию.

      3. Все Российские ученые в одинаковом с Вами положении. Пробились Вы в высокоимпактный журнал сами, или благодаря заботливым соавторам, видно по списку авторов и аффилиациям.

      4. Это перекликается с пунктом 1. Если Вы сделали что-то супер, Вас заметят в любом журнале. Как Перельмана. И тогда Вы будете проходить по совершенно иной шкале достижений.

      Еще я замечу, что если Вы молодой ученый, то эксперт, работающий с набором статистических данных о ваших трудах, это увидит.

      Все беды начинаются с того, что «умники» пытаются придумать один универсальный критерий научных достижений.

Добавить комментарий

Ваш адрес email не будет опубликован.

Оценить: