Проект федерального закона о РАН вызвал огромный резонанс в научном сообществе России. Подавляющее большинство публичных откликов было негативным или крайне негативным, и только несколько ученых открыто поддержали предложенные реформы. Полемика была очень эмоциональной. В ней широко использовали даже такой «аргумент», как «Петр I создал Академию и не вам ее отменять». Вместе с тем, реформирование РАН — сложное и деликатное дело, которое требует взвешенности и не может опираться на эмоции и скоропалительные решения. Содержательное обсуждение состояния дел в РАН и путей ее реформирования должно, очевидно, проходить на языке чисел. В настоящее время единственные числа, которые иногда появляются в дискуссиях, имеют размерность «рубль» — такие числа не могут напрямую измерить эффективность научных исследований. Недавно Нобелевский лауреат А. Гейм — человек, знающий РАН, и от нее независимый — выдвинул радикальное предложение о том, что «нужно самореорганизоваться, провести peer-reviewing — по-русски можно сказать «аудит» (http://www.gazeta.ru/science/2013/08/12_a_5551333.%20shtml)», — в том числе с участием иностранных экспертов. Эта идея в целом не вызвала понимания среди тех, кто ее публично обсуждал, да и как ее быстро реализовать на практике, не совсем ясно.
Вместе с тем простой, но достаточно информативный анализ эффективности отдельных ученых и организаций можно провести, пользуясь наукометрическими показателями, в первую очередь индексами цитирования (ИЦ) и Хирша (ИХ). Первый индекс является одним из самых распространенных показателей, который применяется во многих странах мира для количественной оценки значимости деятельности отдельного ученого или полезности конкретной научной статьи. Для получения более детальной оценки научной продуктивности совсем недавно (в 2005 году) был предложен индекс Хирша, который «является количественной характеристикой продуктивности ученого, группы ученых, университета или страны в целом, основанной на числе публикаций и цитирований этих публикаций» (http://ru.wikipedia.org/wiki/H-index). Следует отметить, что оба эти индекса эффективны лишь при сравнении ученых, работающих в одной области исследований, поскольку традиции цитирования могут существенно отличаться от области к области. При правильном применении эти индексы являются в настоящее время лучшим мерилом качества фундаментальных научных исследований и широко используются в мире.
До последнего времени эти показатели мало применяли в России для оценки работы научных институтов и сотрудников, больше полагались на так называемые экспертные оценки. К сожалению, в условиях недостаточного и жестко централизованного финансирования, клановости и «корпоративной этики» ценность экспертных оценок оказывается невысокой. Часто звания, должности, оборудование и деньги распределяют сначала «своим», а потом «достойным». Доверие к такой «экспертизе» в России изрядно подорвано и задача создания эффективного экспертного сообщества очень важна.
В этом сообщении приведены результаты анализа ИЦ и ИХ для отдельных российских ученых, работающих по специальности химия и наука о материалах (ХНМ). Данные я брал с известного сайта http://expertcorps.ru/science/whoiswho/by_branch/chem по состоянию на 14/08/2013. Все представленные на этом сайте ученые были поделены на 3 группы: академики РАН (АК, их представлено 56 человек), члены-корреспонденты РАН (ЧК, 5 человека) и остальные ученые (ОУ), у которых набралось более 1000 цитирований (ОУ = 535 человек). Последнюю группу можно считать своеобразной научной элитой среди «простых» ученых, работающих в области химии и науки о материалах (ОХМН). Группа включает ученых из институтов РАН, университетов и других научных учреждений России. На сайте также представлена часть российских ученых, работающих за рубежом (36 человек).
Рис. 1 показывает, как индекс Хирша ученого связан с его индексом цитирования для этих трех групп. В правой верхней части рисунка, соответствующей большим значениям ИХ и ИЦ, представлены в основном АК и ОУ, причем для достижения заданного Хирша для АК требуется в среднем большее число цитирований, чем для ОУ.
Значительная часть АК и ЧК имеют показатели, расположенные в левой нижней части рисунка. Это указывает на тот факт, что научные достижения (по крайней мере те, которые выражаются с помощью общепринятых ИЦ и ИХ) не являются определяющими при выборе АК и особенно ЧК (эти выборы проводятся как раз в основном на основе «экспертных» оценок). Результаты представленных в списке ЧК близки к средним и далеки от лучших по сообществу ОУ. Так, среднее значение ИХ для ЧК равно 19.0, что ниже, чем у научной элиты «простых» ученых (535 чел.), у которых средний Хирш равен 21.3.
Средний индекс Хирша для АК (24,9) существенно выше, чем у ЧК. Отметим, что в списках АК и ЧК на сайте корпуса экспертов представлены не все, входящие в отделение химии и науки о материалах РАН. В нем числятся 69 АК и 105 ЧК (см. таблицу 3 из www.expertcorps.ru/static/cms/MAP_final.pdf), т.е. отсутствует половина ЧК, видимо, имеющих совсем низкие ИЦ и ИХ. Их учет может привести к тому, что разница в показателях групп (АК и ЧК), а также (ОУ и ЧК) существенно увеличится. Таким образом, заложенная в ФЗ о РАН идея автоматического перевода ЧК в АК существенно понизит научный рейтинг действительных членов РАН. Такой перевод вряд ли будет способствовать повышению престижа нашей химической науки.
Эти выводы подтверждает и рис. 2, показывающий распределение ученых по индексу Хирша. Распределение для ОУ имеет максимум при ИХ = 19, а данные для АК и ЧК распределены гораздо равномерней, так что присутствуют и высокие, и низкие значения ИХ. При 20 ≤ ИХ ≤ 35 есть значительное число ОУ, имеющих показатели эффективности лучше, чем АК и ЧК. При ИХ > 35 доля АК становится значительной, хотя самый высокий индекс Хирша (71!) имеет представитель ОУ, работающий в России и не являющийся членом РАН. Следует отметить, что в списке ОУ нет многих российских химиков, работающих за рубежом. Можно ожидать, что их учет еще повысил бы показатели группы ОУ.
Хотя специальный возрастной анализ не проводился, но предварительные оценки показывают, что ИХ и ИЦ напрямую с возрастом не связаны — есть много достаточно молодых АК и ЧК с низкими показателями, а есть некоторые, имеющие и седины, и высокие индексы, и уважение научного сообщества.
Индекс Хирша 30 и выше имеют 15 АК, 4 ЧК и 50 ОУ. Как раз они и стали бы академиками, если представить гипотетическую ситуацию, что нынешние 69 вакансий заполнялись бы в соответствии с индексом Хирша. В результате сменились бы 50 действительных членов ОХНМ, то есть более 2/3. Таким образом, оценка А. Гейма по поводу доли АК, получивших бы «золотое клеймо» (www.gazeta.ru/science/2013/08/12_a_5551333.shtml), похоже, завышена. Вместе с тем, удивительным образом «работает» та пропорция, которая, говорят, по словам М.В. Келдыша, существовала еще в Академии наук СССР: те, кого по научным заслугам надо обязательно избрать, составляли около 1/3 (я слышал про это, когда еще начинал работать в науке). По-видимому, АН СССР не надо идеализировать и брать в качестве образца при реформировании РАН.
Таким образом, значительная часть представителей групп АК и, особенно, ЧК не имеют научных статей, соответствующих передовому уровню химии и науки о материалах, и, возможно, даже не представляют, где этот уровень сейчас находится. Такая ситуация является (а) серьезным ударом по репутации ОХНМ; (б) рождает обоснованные сомнения в способности такого органа провести квалифицированную научную экспертизу (достаточно вспомнить недавнюю проверку «достижений» В. Петрика); (в) не позволяет концентрировать весьма ограниченные ресурсы на тех направлениях, где российские химики являются конкурентоспособными. Увы, имеется множество примеров хронического недофинансирования как раз эффективно работающих ученых и научных коллективов, в которые не входят члены РАН.
Проведенный анализ показывает, что значительное число российских специалистов в химии и науке о материалах имеет ИХ = 20-25 и выше. Много это или мало? Тут надо детально сравнивать с исследователями из других стран, работающими в этой же области. Пока могу привести для оценки соображения самого Хирша, который отмечал, что «в физике (в реалиях США) ИХ, равный 10-12, может служить одним из определяющих факторов для решения о предоставлении исследователю постоянного места работы в крупном исследовательском университете; уровень исследователя с ИХ = 15-20 соответствует почетному членству в Американском физическом обществе; индекс 45 и выше может означать членство в Национальной академии наук США« (http://ru.wikipedia.org/wiki/H-index). Если эти ориентиры верны и для ХНМ, то можно говорить о серьезном потенциале российских ученых, работающих в этой области, но не являющихся членами РАН. Предлагаемая реформа должна включать новые механизмы реального участия таких ученых, а также руководителей среднего звена (заведующих лабораториями, секторами и группами) в распределении ресурсов (людей, денег и оборудования), либо предусматривать распределение значимой части ресурсов отдельным ученым и лабораториям непосредственно в соответствии с наукометрическими показателями. В настоящее время подавляющее большинство эффективно работающих российских ученых практически полностью лишены возможности влиять на принятие ключевых решений в жизни РАН и на распределение всех видов ресурсов.
По-видимому, необходимо провести аналогичный (или расширенный) анализ для других специальностей и отделений РАН и использовать его результаты для дальнейшей оценки состояния дел в РАН и в российском научном сообществе, а также для поиска путей самореорганизации или внешнего реформирования РАН.
Юрий Аристов,
докт. хим. наук, профессор, зав. лабораторией ИК СО РАН, Новосибирск
В подобных оценках «элитности» конкретных ученых необходимо делать поправку на то, что АК и ЧК располагают огромным административным ресурсом. Целые институты ставят их в соавторы. В итоге имеем «элитных» ученых с 1000 и более публикаций.
Статья весьма интересная и содержательная.
Работая на западе вынужден констатировать, что никакие показетели ни ИЦ ни ИХ вообще не работают и не помогают получить постоянное место. Заниматься подсчетами этих чисел и меряться ими могут уже профессора для собстенного развлечения. В топовых университетах требуются публикации в топовых журналах Nature и Science или в лучших специализированных журналах как необходимое но недостаточное условия для полученеи постоянной ставки. Основной метод получения ставки во всех странах — по знакомству и рекоммендациям, то есть почти вся структура науки клановая, и никакой индекс Хирша не поможет.
Клановость? Ну, что Вы)))Тут такого нет. Тут все просто и без вычурности, индексов-шминдексов и прочих, никому не понятных, заклинаний:
И выглядит это так: http://habrahabr.ru/post/129676/
Кстати, сабж о тех же проблемах, что и в РАН. Но без масок духов предков, которые нацепили на себя местный аборигены, в камлании изгнания злых духов из правительства.
Статья весьма интересная и дискуссионная. Сомнение вызывает уверенность автора в полезности использования индекса Хирша для оценки научной деятельности ученых.
Указанный индекс обладают рядом существенных недостатков, которые обсуждаются в статье «Об индексе Хирша и других наукометрических показателях»
http://eqworld.ipmnet.ru/ru/info/sci-edu/Polyanin_IndexH_2013.html
Нормальная статья!
замечу лишь 2 момента.
Пока ни ИЦ ни ИХ не могут быть признаны адекватными, хотя они и интересны.
1) Нужна более глубокая формула, например индекс П
1П=1публ.х(1+ИмпактФактор)х(1+Кцитир.х Числоцитир.)/Число соавтр.
Пояснения очевидны.
2) По сумме таких индексов действительно можно создавать
и раздавать
научные степени и должности, установив разумную шкалу.
А все эти «выборные» зания- уже устарели.
Приноровился народ их «покупать».
Побробнее напишу в ТрВ
@владислав
Сегодня такая формула хорошо сработает, но это как вечный спор брони и снаряда. К любой формуле можно приноровиться, чтобы не имея научных результатов получать высокие индексы. Один недостаток подобных формул, основанных на частоте цитирований: ученые окончательно разобьются на группки, которые интенсивно ссылаются на своих и не ссылаются на чужих. Как следствие — полная деградация этики цитирования.
Нужно еще помнить, что импакт факторы большинства российских журналов настолько низки, что люди, публикующиеся в международных журналах, сразу получат огромное преимущество перед русскоязычными. Основная масса еще не готова к этому (разумному) шагу.
Была статья Гашека оведении «научных дискуссий». Перескажу мысль «повышаем индекс » по «методу Гашека» (да, ученые те еще тролли).
Пишем статью со посылом в стиле британских ученых «Шарик ты балбес», то есть высказываем наиболее спорное утверждение, например «зарядку воды».
Огромное число ученых начинают клеймить лженаучную статью, цитируя и ссылаясь на нее. Индекс растет, научности и толку от этого ноль.
Зато «наукомер» растет, можно смело «мериться индексами».
Ливанову нужна наука или «бурная деятельность» ради «бурной деятельности»?
Отличная статья.
Качественно сходную структуру имеет цитирование в других науках. Библиометрические индексы не идеальны. Тут не о чем спорить.
Но автор с ИХ 30-40 заведомо значит в науке много больше чем тот кто в этой же области имеет ИХ около 10-15. Публикация в международных журналах тянет больше ссылок, но подготовить такую статью намного труднее. На западе считается что на развитие науки влияют ученые имеющие цитирование не менее 50 в год. К 45 — 50 годам такой автор накапливает 1000 или более ссылок. Поразительно что даже эта в общем невысокая цифра (1000) не достижима для многих и многих АК и ЧК. Нет, клуб выдающихся ученых здесь не проходит.
to Давид:
Приятно встретить единомышленника — я уже то же самое писал в июле (http://trv-science.ru/2013/07/16/rejjtingi-nezavisimye-mezhdunarodnye-i-takie-raznye/). При таких наукометрических подходах самый лучший специалист по истории второй мировой войны — г-н Резун, которого ленивый не пинает и не только, однако при этом в любом случае ссылается, и не только в околонаучной лит-ре, но и в академических работах. Это то же самое, что судить о таланте писателя по тиражам, а умении хирурга — по числу проведённых операций.
Давиду: а Вы попробуйте свой трюк. Предсказываю, результат будет нулевым.
Во-первых в хорошем журнале не опубликуют, а в плохом — не прочтут. В библиотеке препритов SPIRES время от времени появляются неправильные работы. Если работа еще и интересная — то появится ровно один препринт с объяснением ошибки. Второй никто писать не будет. Если Вы опровергаете чьи-то результаты то получите по шапке от автора этих результатов. И только.
Вы понимаете как цитирование сейчас организовано? Введение в статье сейчас похоже на введение в диссертации. Там обычно перечисляются все недавние ‘хорошие’ работы по теме статьи. А ‘плохие’ работы там не упоминаются.
Для triumvir: У Резуна нет ни одной научной работы. Одна публициcтика. Так что нет и научного цитирования
Саше Андрееву: Хирш не помешает. Низкий индекс цитирования повредит. Научное сообщество клановое но внутри одной организации как правило несколько кланов. Вот тут можно вынуть хирш — аргумент свой последний, единственный …