Проект федерального закона о РАН вызвал огромный резонанс в научном сообществе России. Подавляющее большинство публичных откликов было негативным или крайне негативным, и только несколько ученых открыто поддержали предложенные реформы. Полемика была очень эмоциональной. В ней широко использовали даже такой «аргумент», как «Петр I создал Академию и не вам ее отменять». Вместе с тем, реформирование РАН — сложное и деликатное дело, которое требует взвешенности и не может опираться на эмоции и скоропалительные решения. Содержательное обсуждение состояния дел в РАН и путей ее реформирования должно, очевидно, проходить на языке чисел. В настоящее время единственные числа, которые иногда появляются в дискуссиях, имеют размерность «рубль» — такие числа не могут напрямую измерить эффективность научных исследований. Недавно Нобелевский лауреат А. Гейм — человек, знающий РАН, и от нее независимый — выдвинул радикальное предложение о том, что «нужно самореорганизоваться, провести peer-reviewing — по-русски можно сказать «аудит» (http://www.gazeta.ru/science/2013/08/12_a_5551333.%20shtml)», — в том числе с участием иностранных экспертов. Эта идея в целом не вызвала понимания среди тех, кто ее публично обсуждал, да и как ее быстро реализовать на практике, не совсем ясно.
Вместе с тем простой, но достаточно информативный анализ эффективности отдельных ученых и организаций можно провести, пользуясь наукометрическими показателями, в первую очередь индексами цитирования (ИЦ) и Хирша (ИХ). Первый индекс является одним из самых распространенных показателей, который применяется во многих странах мира для количественной оценки значимости деятельности отдельного ученого или полезности конкретной научной статьи. Для получения более детальной оценки научной продуктивности совсем недавно (в 2005 году) был предложен индекс Хирша, который «является количественной характеристикой продуктивности ученого, группы ученых, университета или страны в целом, основанной на числе публикаций и цитирований этих публикаций» (http://ru.wikipedia.org/wiki/H-index). Следует отметить, что оба эти индекса эффективны лишь при сравнении ученых, работающих в одной области исследований, поскольку традиции цитирования могут существенно отличаться от области к области. При правильном применении эти индексы являются в настоящее время лучшим мерилом качества фундаментальных научных исследований и широко используются в мире.
До последнего времени эти показатели мало применяли в России для оценки работы научных институтов и сотрудников, больше полагались на так называемые экспертные оценки. К сожалению, в условиях недостаточного и жестко централизованного финансирования, клановости и «корпоративной этики» ценность экспертных оценок оказывается невысокой. Часто звания, должности, оборудование и деньги распределяют сначала «своим», а потом «достойным». Доверие к такой «экспертизе» в России изрядно подорвано и задача создания эффективного экспертного сообщества очень важна.
В этом сообщении приведены результаты анализа ИЦ и ИХ для отдельных российских ученых, работающих по специальности химия и наука о материалах (ХНМ). Данные я брал с известного сайта http://expertcorps.ru/science/whoiswho/by_branch/chem по состоянию на 14/08/2013. Все представленные на этом сайте ученые были поделены на 3 группы: академики РАН (АК, их представлено 56 человек), члены-корреспонденты РАН (ЧК, 5 человека) и остальные ученые (ОУ), у которых набралось более 1000 цитирований (ОУ = 535 человек). Последнюю группу можно считать своеобразной научной элитой среди «простых» ученых, работающих в области химии и науки о материалах (ОХМН). Группа включает ученых из институтов РАН, университетов и других научных учреждений России. На сайте также представлена часть российских ученых, работающих за рубежом (36 человек).
Рис. 1 показывает, как индекс Хирша ученого связан с его индексом цитирования для этих трех групп. В правой верхней части рисунка, соответствующей большим значениям ИХ и ИЦ, представлены в основном АК и ОУ, причем для достижения заданного Хирша для АК требуется в среднем большее число цитирований, чем для ОУ.
Значительная часть АК и ЧК имеют показатели, расположенные в левой нижней части рисунка. Это указывает на тот факт, что научные достижения (по крайней мере те, которые выражаются с помощью общепринятых ИЦ и ИХ) не являются определяющими при выборе АК и особенно ЧК (эти выборы проводятся как раз в основном на основе «экспертных» оценок). Результаты представленных в списке ЧК близки к средним и далеки от лучших по сообществу ОУ. Так, среднее значение ИХ для ЧК равно 19.0, что ниже, чем у научной элиты «простых» ученых (535 чел.), у которых средний Хирш равен 21.3.
Средний индекс Хирша для АК (24,9) существенно выше, чем у ЧК. Отметим, что в списках АК и ЧК на сайте корпуса экспертов представлены не все, входящие в отделение химии и науки о материалах РАН. В нем числятся 69 АК и 105 ЧК (см. таблицу 3 из www.expertcorps.ru/static/cms/MAP_final.pdf), т.е. отсутствует половина ЧК, видимо, имеющих совсем низкие ИЦ и ИХ. Их учет может привести к тому, что разница в показателях групп (АК и ЧК), а также (ОУ и ЧК) существенно увеличится. Таким образом, заложенная в ФЗ о РАН идея автоматического перевода ЧК в АК существенно понизит научный рейтинг действительных членов РАН. Такой перевод вряд ли будет способствовать повышению престижа нашей химической науки.
Эти выводы подтверждает и рис. 2, показывающий распределение ученых по индексу Хирша. Распределение для ОУ имеет максимум при ИХ = 19, а данные для АК и ЧК распределены гораздо равномерней, так что присутствуют и высокие, и низкие значения ИХ. При 20 ≤ ИХ ≤ 35 есть значительное число ОУ, имеющих показатели эффективности лучше, чем АК и ЧК. При ИХ > 35 доля АК становится значительной, хотя самый высокий индекс Хирша (71!) имеет представитель ОУ, работающий в России и не являющийся членом РАН. Следует отметить, что в списке ОУ нет многих российских химиков, работающих за рубежом. Можно ожидать, что их учет еще повысил бы показатели группы ОУ.
Хотя специальный возрастной анализ не проводился, но предварительные оценки показывают, что ИХ и ИЦ напрямую с возрастом не связаны — есть много достаточно молодых АК и ЧК с низкими показателями, а есть некоторые, имеющие и седины, и высокие индексы, и уважение научного сообщества.
Индекс Хирша 30 и выше имеют 15 АК, 4 ЧК и 50 ОУ. Как раз они и стали бы академиками, если представить гипотетическую ситуацию, что нынешние 69 вакансий заполнялись бы в соответствии с индексом Хирша. В результате сменились бы 50 действительных членов ОХНМ, то есть более 2/3. Таким образом, оценка А. Гейма по поводу доли АК, получивших бы «золотое клеймо» (www.gazeta.ru/science/2013/08/12_a_5551333.shtml), похоже, завышена. Вместе с тем, удивительным образом «работает» та пропорция, которая, говорят, по словам М.В. Келдыша, существовала еще в Академии наук СССР: те, кого по научным заслугам надо обязательно избрать, составляли около 1/3 (я слышал про это, когда еще начинал работать в науке). По-видимому, АН СССР не надо идеализировать и брать в качестве образца при реформировании РАН.
Таким образом, значительная часть представителей групп АК и, особенно, ЧК не имеют научных статей, соответствующих передовому уровню химии и науки о материалах, и, возможно, даже не представляют, где этот уровень сейчас находится. Такая ситуация является (а) серьезным ударом по репутации ОХНМ; (б) рождает обоснованные сомнения в способности такого органа провести квалифицированную научную экспертизу (достаточно вспомнить недавнюю проверку «достижений» В. Петрика); (в) не позволяет концентрировать весьма ограниченные ресурсы на тех направлениях, где российские химики являются конкурентоспособными. Увы, имеется множество примеров хронического недофинансирования как раз эффективно работающих ученых и научных коллективов, в которые не входят члены РАН.
Проведенный анализ показывает, что значительное число российских специалистов в химии и науке о материалах имеет ИХ = 20-25 и выше. Много это или мало? Тут надо детально сравнивать с исследователями из других стран, работающими в этой же области. Пока могу привести для оценки соображения самого Хирша, который отмечал, что «в физике (в реалиях США) ИХ, равный 10-12, может служить одним из определяющих факторов для решения о предоставлении исследователю постоянного места работы в крупном исследовательском университете; уровень исследователя с ИХ = 15-20 соответствует почетному членству в Американском физическом обществе; индекс 45 и выше может означать членство в Национальной академии наук США« (http://ru.wikipedia.org/wiki/H-index). Если эти ориентиры верны и для ХНМ, то можно говорить о серьезном потенциале российских ученых, работающих в этой области, но не являющихся членами РАН. Предлагаемая реформа должна включать новые механизмы реального участия таких ученых, а также руководителей среднего звена (заведующих лабораториями, секторами и группами) в распределении ресурсов (людей, денег и оборудования), либо предусматривать распределение значимой части ресурсов отдельным ученым и лабораториям непосредственно в соответствии с наукометрическими показателями. В настоящее время подавляющее большинство эффективно работающих российских ученых практически полностью лишены возможности влиять на принятие ключевых решений в жизни РАН и на распределение всех видов ресурсов.
По-видимому, необходимо провести аналогичный (или расширенный) анализ для других специальностей и отделений РАН и использовать его результаты для дальнейшей оценки состояния дел в РАН и в российском научном сообществе, а также для поиска путей самореорганизации или внешнего реформирования РАН.
Юрий Аристов,
докт. хим. наук, профессор, зав. лабораторией ИК СО РАН, Новосибирск
для Александра Пухова:
В историографии по ХХ в. разница между научными и научно-популярными работами весьма размыта, а у г-на Резуна хотя бы ссылки есть. У Типпельскирха в его весьма добротном труде нет. К тому же в ссылке не написано, научная работа или нет. да и бог с ним, с Резуном. Предположим, декан или проректор или даже сам ректор написал пору монографий не важно какого качества, и подчинённые будут ссылаться обязательно (в провинциальных вузах особенно), даже если пишут по другой теме — притягивают за уши как образец «подлинно научной» методологии. А если на книжку напишут разгромную рецензию в академическом журнале? Не беда, что разгромная, индексу цитирования решительно всё равно, главное, чтоб фамилия правильно написана была. И плохие статьи в солидных журналах (говорю о гуманитарных науках) и у нас, и у «них» бывают. Надо всё оценивать по отдельности, а не махать этими индексами.
У нас в институте самый большой ИХ у профессора, ведущего большое количество аспирантов,и высказывающего в своих работах неоднозначные идеи.
С утверждениями вроде «автор с ИХ 30-40 заведомо значит в науке много больше чем тот кто в этой же области имеет ИХ около 10-15» трудно согласиться. Всё-таки в науке разные работы имеют разную ценность, одна прорывная работа может стоить сотен цитируемых исследований по модным темам. Например, Генри Мозли, написавший лишь несколько статей и погибший в 27 лет, навсегда останется в истории науки. Я сомневаюсь, что такой же чести удостоятся многочисленные «авторы с ИХ 30-40».
Мораль: автор даже одной, но действительно важной для развития науки статьи заслуживает уважения, даже если у него ИХ=1.
С помощью баз данных по цитированию (WoS например) можно с достаточной достоверностью оценить потенциал ученого. Конечно взятый отдельно Хирш или ИЦ может вводить в заблуждения. Но можно посмотреть число соавторов, колличество групп в которых человек работает. Колличество людей которые его цитируют. Сколько статей цитирует сам ученый. При анализе соискателя степени доктора наук библиометрические данные скажут больше чем отзыв опонента отобранного самим соискателем. Даже если этот опонент всемирно известный, но российский ученый. Да, административный ресурс может искажать индексы цитирования. Но он еще в большей степени будет искажать экспертную оценку. И если по библиографии еще можно разобраться в какой степени цитирующие ученые зависят от автора ( сотрудники факультета где иследуемый субьект декан), то при экспертной оценке это выяснить трудно. Клановость мешает в любом случае.
Для академиков и членкоров прямой ИЦ и Хирш конечно могут вводить в заблуждение из-за административного ресурса. Хотя уши как правило видны. Приведенное автором сопостовление академиков и членкоров может быть неправильным по разным причинам хотя оно и интересно.
Вопрос об оценке по Хиршу безвреммено ушедших ярких ученых вообще не стоит. В частности их никто не собирается трудоустраивать.
Все эти индексы и наукометрия хороши только для посредственных работ, улучшающих какие-либо уже известные результаты. Оценка действительно прорывных работ может легко затянуться на 30-50 лет. История знает массу подобных примеров и в т.ч., посмертной славы. Кто согласен подождать?
Хирш и индекс цитирования должны обрезать функционеров снизу.
т.е. должен быть «джентельменский минимум». нельзя пускать управлять наукой того, кто сам ничего не добился и кого никто не знает.
а так наука всегда клановая. если хочешь чего-то добиться, тебя должна поддерживать группа товарищей.
академиков же надо отменить как класс. должны остатьтся директора институтов и профессора в университетах. позиции должны быть хорошо оплачиваемыми и обязательно заполняться по конкурсу. международному. выбирать на должность должна комиссия из параллельных институтов/кафедр. также необходимо установить максимум по возрасту, после которого выгонять на пенсию. безжалостно.
В общем-то, это давно было очевидно, что индекс цитирования и его производные (Н — индекс) ,действительно, больше подходит для развлечения, чем для практических целей оценки научного вклада ученых. На Интернет страничке http://www.rankyourideas.com/ предлагается более точная методология оценки кто есть кто в науке. Разрабатывать подавляющее большинство идей в науке могут иногда сотни ученых и/или групп. И никто не знает и не оценивает кто есть кто,как разработчик идей, ни в фундаментальной ни в прикладной науке. Нередко бывает что человек сумевший как-то сколотить большую лабораторию с деньгами и ресурсами намного хуже, как раработчик идей, чем какой-то безработный ученый.
Индекс Хирша — хрень, т.к. в РФ наличествуют возможность печатать заказные статьи в заказных проплаченных журналах. Договариваются авторы, ты цитируешь меня, а я тебя. Мыслей нет, индекс цитирования растет
Статья Юрия Аристова интересна тем, что она дает убедительную количественную меру того, что и так известно, но на качественном уровне. Академия грубо и цинично нарушает собственный устав, требующий от ЧК и АК выдающихся научных достижений. И состав Академии будет ухудшаться с каждыми выборами, поскольку решения о членстве будут приниматься голосами тех, чье собственное членство сомнительно с точки зрения соответствия уставу. Эту тенденцию можно переломить, установив строгий ценз для новых членов, например индекс цитирования 1000 для ЧК и 2000 — для АК. Чтобы уменьшить напор научной бюрократии нужно отменить такие приманки как пожизненные привилегии для АК и ЧК. Наконец общая демократизация и преодоление феодальных принципов организации затруднит для начальников искусственное раздувание собственных библиометрических индексов за счет работ подчиненных. Оздоровление Академии возможно, была бы политическая воля.
To olegmatt:
ТрВ – русскоязычное издание. Поэтому, прежде, чем рекламировать здесь свои разработки, целесообразно изложить их на русском языке. Хотя бы из уважения к большинству читателей.