Проект федерального закона о РАН вызвал огромный резонанс в научном сообществе России. Подавляющее большинство публичных откликов было негативным или крайне негативным, и только несколько ученых открыто поддержали предложенные реформы. Полемика была очень эмоциональной. В ней широко использовали даже такой «аргумент», как «Петр I создал Академию и не вам ее отменять». Вместе с тем, реформирование РАН — сложное и деликатное дело, которое требует взвешенности и не может опираться на эмоции и скоропалительные решения. Содержательное обсуждение состояния дел в РАН и путей ее реформирования должно, очевидно, проходить на языке чисел. В настоящее время единственные числа, которые иногда появляются в дискуссиях, имеют размерность «рубль» — такие числа не могут напрямую измерить эффективность научных исследований. Недавно Нобелевский лауреат А. Гейм — человек, знающий РАН, и от нее независимый — выдвинул радикальное предложение о том, что «нужно самореорганизоваться, провести peer-reviewing — по-русски можно сказать «аудит» (http://www.gazeta.ru/science/2013/08/12_a_5551333.%20shtml)», — в том числе с участием иностранных экспертов. Эта идея в целом не вызвала понимания среди тех, кто ее публично обсуждал, да и как ее быстро реализовать на практике, не совсем ясно.
Вместе с тем простой, но достаточно информативный анализ эффективности отдельных ученых и организаций можно провести, пользуясь наукометрическими показателями, в первую очередь индексами цитирования (ИЦ) и Хирша (ИХ). Первый индекс является одним из самых распространенных показателей, который применяется во многих странах мира для количественной оценки значимости деятельности отдельного ученого или полезности конкретной научной статьи. Для получения более детальной оценки научной продуктивности совсем недавно (в 2005 году) был предложен индекс Хирша, который «является количественной характеристикой продуктивности ученого, группы ученых, университета или страны в целом, основанной на числе публикаций и цитирований этих публикаций» (http://ru.wikipedia.org/wiki/H-index). Следует отметить, что оба эти индекса эффективны лишь при сравнении ученых, работающих в одной области исследований, поскольку традиции цитирования могут существенно отличаться от области к области. При правильном применении эти индексы являются в настоящее время лучшим мерилом качества фундаментальных научных исследований и широко используются в мире.
До последнего времени эти показатели мало применяли в России для оценки работы научных институтов и сотрудников, больше полагались на так называемые экспертные оценки. К сожалению, в условиях недостаточного и жестко централизованного финансирования, клановости и «корпоративной этики» ценность экспертных оценок оказывается невысокой. Часто звания, должности, оборудование и деньги распределяют сначала «своим», а потом «достойным». Доверие к такой «экспертизе» в России изрядно подорвано и задача создания эффективного экспертного сообщества очень важна.
В этом сообщении приведены результаты анализа ИЦ и ИХ для отдельных российских ученых, работающих по специальности химия и наука о материалах (ХНМ). Данные я брал с известного сайта http://expertcorps.ru/science/whoiswho/by_branch/chem по состоянию на 14/08/2013. Все представленные на этом сайте ученые были поделены на 3 группы: академики РАН (АК, их представлено 56 человек), члены-корреспонденты РАН (ЧК, 5 человека) и остальные ученые (ОУ), у которых набралось более 1000 цитирований (ОУ = 535 человек). Последнюю группу можно считать своеобразной научной элитой среди «простых» ученых, работающих в области химии и науки о материалах (ОХМН). Группа включает ученых из институтов РАН, университетов и других научных учреждений России. На сайте также представлена часть российских ученых, работающих за рубежом (36 человек).
Рис. 1 показывает, как индекс Хирша ученого связан с его индексом цитирования для этих трех групп. В правой верхней части рисунка, соответствующей большим значениям ИХ и ИЦ, представлены в основном АК и ОУ, причем для достижения заданного Хирша для АК требуется в среднем большее число цитирований, чем для ОУ.
Значительная часть АК и ЧК имеют показатели, расположенные в левой нижней части рисунка. Это указывает на тот факт, что научные достижения (по крайней мере те, которые выражаются с помощью общепринятых ИЦ и ИХ) не являются определяющими при выборе АК и особенно ЧК (эти выборы проводятся как раз в основном на основе «экспертных» оценок). Результаты представленных в списке ЧК близки к средним и далеки от лучших по сообществу ОУ. Так, среднее значение ИХ для ЧК равно 19.0, что ниже, чем у научной элиты «простых» ученых (535 чел.), у которых средний Хирш равен 21.3.
Средний индекс Хирша для АК (24,9) существенно выше, чем у ЧК. Отметим, что в списках АК и ЧК на сайте корпуса экспертов представлены не все, входящие в отделение химии и науки о материалах РАН. В нем числятся 69 АК и 105 ЧК (см. таблицу 3 из www.expertcorps.ru/static/cms/MAP_final.pdf), т.е. отсутствует половина ЧК, видимо, имеющих совсем низкие ИЦ и ИХ. Их учет может привести к тому, что разница в показателях групп (АК и ЧК), а также (ОУ и ЧК) существенно увеличится. Таким образом, заложенная в ФЗ о РАН идея автоматического перевода ЧК в АК существенно понизит научный рейтинг действительных членов РАН. Такой перевод вряд ли будет способствовать повышению престижа нашей химической науки.
Эти выводы подтверждает и рис. 2, показывающий распределение ученых по индексу Хирша. Распределение для ОУ имеет максимум при ИХ = 19, а данные для АК и ЧК распределены гораздо равномерней, так что присутствуют и высокие, и низкие значения ИХ. При 20 ≤ ИХ ≤ 35 есть значительное число ОУ, имеющих показатели эффективности лучше, чем АК и ЧК. При ИХ > 35 доля АК становится значительной, хотя самый высокий индекс Хирша (71!) имеет представитель ОУ, работающий в России и не являющийся членом РАН. Следует отметить, что в списке ОУ нет многих российских химиков, работающих за рубежом. Можно ожидать, что их учет еще повысил бы показатели группы ОУ.
Хотя специальный возрастной анализ не проводился, но предварительные оценки показывают, что ИХ и ИЦ напрямую с возрастом не связаны — есть много достаточно молодых АК и ЧК с низкими показателями, а есть некоторые, имеющие и седины, и высокие индексы, и уважение научного сообщества.
Индекс Хирша 30 и выше имеют 15 АК, 4 ЧК и 50 ОУ. Как раз они и стали бы академиками, если представить гипотетическую ситуацию, что нынешние 69 вакансий заполнялись бы в соответствии с индексом Хирша. В результате сменились бы 50 действительных членов ОХНМ, то есть более 2/3. Таким образом, оценка А. Гейма по поводу доли АК, получивших бы «золотое клеймо» (www.gazeta.ru/science/2013/08/12_a_5551333.shtml), похоже, завышена. Вместе с тем, удивительным образом «работает» та пропорция, которая, говорят, по словам М.В. Келдыша, существовала еще в Академии наук СССР: те, кого по научным заслугам надо обязательно избрать, составляли около 1/3 (я слышал про это, когда еще начинал работать в науке). По-видимому, АН СССР не надо идеализировать и брать в качестве образца при реформировании РАН.
Таким образом, значительная часть представителей групп АК и, особенно, ЧК не имеют научных статей, соответствующих передовому уровню химии и науки о материалах, и, возможно, даже не представляют, где этот уровень сейчас находится. Такая ситуация является (а) серьезным ударом по репутации ОХНМ; (б) рождает обоснованные сомнения в способности такого органа провести квалифицированную научную экспертизу (достаточно вспомнить недавнюю проверку «достижений» В. Петрика); (в) не позволяет концентрировать весьма ограниченные ресурсы на тех направлениях, где российские химики являются конкурентоспособными. Увы, имеется множество примеров хронического недофинансирования как раз эффективно работающих ученых и научных коллективов, в которые не входят члены РАН.
Проведенный анализ показывает, что значительное число российских специалистов в химии и науке о материалах имеет ИХ = 20-25 и выше. Много это или мало? Тут надо детально сравнивать с исследователями из других стран, работающими в этой же области. Пока могу привести для оценки соображения самого Хирша, который отмечал, что «в физике (в реалиях США) ИХ, равный 10-12, может служить одним из определяющих факторов для решения о предоставлении исследователю постоянного места работы в крупном исследовательском университете; уровень исследователя с ИХ = 15-20 соответствует почетному членству в Американском физическом обществе; индекс 45 и выше может означать членство в Национальной академии наук США« (http://ru.wikipedia.org/wiki/H-index). Если эти ориентиры верны и для ХНМ, то можно говорить о серьезном потенциале российских ученых, работающих в этой области, но не являющихся членами РАН. Предлагаемая реформа должна включать новые механизмы реального участия таких ученых, а также руководителей среднего звена (заведующих лабораториями, секторами и группами) в распределении ресурсов (людей, денег и оборудования), либо предусматривать распределение значимой части ресурсов отдельным ученым и лабораториям непосредственно в соответствии с наукометрическими показателями. В настоящее время подавляющее большинство эффективно работающих российских ученых практически полностью лишены возможности влиять на принятие ключевых решений в жизни РАН и на распределение всех видов ресурсов.
По-видимому, необходимо провести аналогичный (или расширенный) анализ для других специальностей и отделений РАН и использовать его результаты для дальнейшей оценки состояния дел в РАН и в российском научном сообществе, а также для поиска путей самореорганизации или внешнего реформирования РАН.
Юрий Аристов,
докт. хим. наук, профессор, зав. лабораторией ИК СО РАН, Новосибирск
to Виктор Вяткин:
это мы уже и по-английски не понимаем?
приехали.
а если ещё и «большинство читателей» такое же, тогда туши свет.
наука интернациональна и единственный язык здесь — это английский.
To А.П.:
Да, действительно, приехали, если на личных сайтах игнорируется родной язык.
Я говорю об уважении к читателям и целесообразности русскоязычного дубля, а в Ваших словах сквозит кичливость хорошим знанием английского языка. В то же время Вы и на русском-то языке пишите с ошибками. Поэтому продолжение разговора не имеет смысла.
N. B. В англоязычной научной литературе сейчас широко обсуждается квантово-механическая интерпретация структуры ПСЭ, изложенная Чарльзом Джанет на французском языке.
to Виктор Вяткин:
русская грамотность у меня безупречна.
а разговор с Вами действительно смысла не имеет.
Возражения Аристову.
1. У Стругацких в повести «Хромая судьба» описана машина, которая после анализа рукописи выдает одно число, которое претендует на оценку одновременно как таланта, так и успешности автора. Никогда не думал, что доживу до реализации этой фантазии. В разных концах нашей необъятной Родины можно было наблюдать одну и ту же картину: ходят по коридору здоровые мужики, и меряют, у кого Хирш больше.
Статья Аристова является одним из проявлений этих, в прошлом литературных, страстей в реальной жизни.
2. Первое, что бросается в глаза — это сомнение в качестве использованной базы данных. Первое же знакомство с этими данными в свое время вызвало резкое недоумение ввиду отсутствия в списке знакомых из ближнего окружения, путаницы с фамилиями. В том числе совершенно очевидна была «антиакадемическая» направленность создаваемой базы. Только с третьего пинка удалось внести в список академика Осико. А на директора ИОФРАН академика Щербакова моих сил оказалось недостаточно.
3. В статье Аристова резко отрицательное отношение вызывает безоговорочное отнесение к элите людей по индексу цитирования. Количество цитирований и, в конечном итоге, производный от этого фактора индекс Хирша – это не знак качества отдельной работы или, соответственно, работ автора и его научного уровня. Индекс Хирша даже не всегда – знак важности, значимости и/или влияния. Наиболее адекватная интерпретация индекса Хирша – это критерий известности и разрекламированности работы. Высокий индекс Хирша в основном имеют люди, занимающиеся модными научными направлениями, т.е. умеющие держать нос по ветру и плавать наверху, сумевшие тем или иным способом встроившиеся в мировое сообщество, которое, в общем, отрицательно относится в российской науке и выталкивает ее на обочину. К реальным научным достижениям этот индекс имеет только косвенное отношение.
4. Личный пример. У меня достаточно скромный индекс Хирша – 24. В первую очередь это объясняется тем, что я принципиально основные результаты публикую в отечественных журналах. Большинство моих лучших работ практически не цитируется (не модные темы, не в формате, не там опубликованы). Цитируется, в общем, ширпотреб (в хорошем смысле).
5. Разумеется, нельзя включать в общую выборку российских ученых, работающих за рубежом. Это все равно, что сравнивать результаты бегунов, один из которых бежит налегке, а у второго в каждой ноге и руке привязаны пудовые гири.
6. Необходимо заметить, что публикация статей – отнюдь не единственная, и зачастую не основная цель научной деятельности. И у академиков эта «непечатная» составляющая выше, чем у просто научных работников. Существуют также области научной деятельности, где результаты не публикуются в принципе — неужели это автору рассматриваемой статьи неизвестно?
7. Существуют определенные техники увеличения индекса (см., например, П.П.Федоров, А.И.Попов. Вестник РАН. №1.2014), которые к научному содержанию публикаций отношения, в общем, не имеют. Акцентированное внимание к индексу Хирша неизбежно приведет к искусственному его раздуванию, и появлению в научной среде огромных гульфиков, набитых тряпками. Уже существует российских химик с периферии, включенный в Книгу рекордов Гиннеса по числу опубликованных монографий.
Доктор химических наук, профессор,
Заведующий лабораторией Института общей физики им. А.М. Прохорова РАН
Федоров Павел Павлович
Федорову
«Первое, что бросается в глаза — это сомнение в качестве использованной базы данных». В использованной базе попадаются ошибки, но ведь речь идет о ярких статистических закономерностях.
«Высокий индекс Хирша в основном имеют люди, занимающиеся модными научными направлениями, т.е. умеющие держать нос по ветру и плавать наверху, сумевшие тем или иным способом встроившиеся в мировое сообщество». Это в большинстве лучшие из отечественных ученых, и оскорблять их — нехорошо.
«я принципиально основные результаты публикую в отечественных журналах» Гордиться этим и выдавать за патриотизм — нелепо. Журналы на на языках помимо английского уже вымерли повсюду в мире.
«Необходимо заметить, что публикация статей – отнюдь не единственная, и зачастую не основная цель научной деятельности». Основная цель научной деятельности это конечно научные результаты. Но в фундаментальной науке они фиксируются статьями.
«Уже существует российских химик с периферии, включенный в Книгу рекордов Гиннеса по числу опубликованных монографий» В том то и дело, что можно написать хоть тысячу плохих монографий, но ссылок на них не будет как и высокого индекса цитирования
Игнату.
Использование для характеристики уровня ученого ТОЛЬКО библиометрических показателей — это высшая степень пошлости, безусловно, оскорбительная для настоящих ученых. Единственный человек, в общении с которым я чувствовал, что его интеллект превосходит мой, российский химик, уровень работ которого намного превосходит мировой, имеет индекс Хирша 11.
Анекдот, который ходил в МЭИ где-то 40 лет назад. Стали три мужика мерять, у кого Хирш больше. Один говорит : У меня 25 см. Второй: А у меня 12 дюймов (примечание переводчика- это — по другой базе данных). Третий подумал, подумал, и говорит: А у меня 750 нанометрров. — Как, такой короткий? — Нет, такой красный!
«Анекдот, который ходил в МЭИ где-то 40 лет назад. Стали три мужика мерять, у кого Хирш больше. »
Не знаю, чем там мужики мерились в МЭИ 40 лет назад. Индекс Хирша и предложен-то недавно, всего в 2005году, насколько я помню. И к интеллекту имеет весьма малое отношение.
Интересная статья,но содержит ряд неточностей или ошибок. На 28.10.2013 по указанной ссылке приведены данные для 1270 человек (в статье 535 +АК + ЧК, что существенно меньше), из них ЧК я насчитал 64, а в статье всего 5.