ТрВ публикует статью специалиста в области геометрического моделирования и компьютерной графики Валерия Аджиева, выпускника МИФИ, уже длительное время работающего в Национальном центре компьютерной анимации в Университете Борнмута (Bournemouth University) (Великобритания), а многим пользователям Живого журнала знакомого под ником valchess.
Наука — не спорт, в этой сфере трудно дать однозначное и корректное определение, кто победил и кто проиграл (не говоря о том, что такие вопросы даже не всегда имеют смысл). Тем более трудно ранжировать научные достижения — особенно если речь идет о повседневной научной продукции, а не о действительно общепризнанных выдающихся (и потому достаточно редких) результатах. Тем не менее, и в этой области человеческой деятельности, пусть часто и неявно, но присутствует соревновательный фактор. В конце концов, и за должности, и за финансирование, и за премии, и даже за признание в глазах общественного мнения обычно идет самое настоящее соревнование — и между отдельными учеными, и между лабораториями, кафедрами, институтами и университетами, и даже между странами. И как определяются победители — вопрос не праздный, даже если многие истинные ученые считают ниже своего достоинства этим интересоваться.
Сложившийся за многие годы внутренний механизм определения качества научных результатов в виде экспертного рецензирования публикаций продолжает выполнять свою функцию. Для отдельных статей (особенно на этапе отбора к публикации) этот механизм работает, и альтернативы ему не видно. Более-менее работает и неформальный «гамбургский счет» — специалисты в конкретной научной области обычно знают, кто чего на самом деле стоит и почему. Однако наука все более разрастается, глобализируется, требует всё больше средств из разных источников, приобретает политическое и имиджевое значение, т.е. всё более выходит за свои собственные границы. Соответственно, понимание истинного состояния дел уже не может быть прерогативой узких специалистов некой конкретной научной области. А доверие к экспертам, прямо скажем, далеко от абсолютного не только у широкой публики (значительная часть которой чужда научному мировоззрению, склонна не одобрять трат на кажущуюся им абстрактной науку и не верит никому), не только у правительственной и научной бюрократии (заведующей финансовыми средствами), но даже и у самих научных работников.
Что говорить: в науке, как в любой творческой деятельности, существует и личный субъективизм экспертов, и кумовство, и клановость. Все мы знаем, что рекомендательные письма часто пишутся друзьями претендующего на занятие по конкурсу научной должности; что статьи получают плохие рецензии из-за того, что рецензент пытается затормозить публикацию результатов конкурирующей научной школы; что гранты порой распределяются отнюдь не только на основании объективных достоинств поданных заявок(а с использованием административного ресурса, а также по дружбе, по принципу «ты мне, я тебе» и в итоге, в значительной степени, попадают к тем, кто их и распределяет); что пропаганда отдельных научных достижений в СМИ (часто устами тех же уважаемых экспертов) сводится к возвеличиванию «своего» и замалчиванию «чужого» и т.д. Поэтому неудивительно, что чем дальше, тем больше проявляется интерес к более формальным индикаторам, которые в идеале должны быть способны нивелировать неизбежный субъективизм экспертов и в итоге обеспечить ту самую «объективную» картину.
Проблема, как мы, практики, прекрасно знаем, в том, что формализовать оценку качества научной деятельности чрезвычайно трудно. Это знание, однако, не мешает все более широкому де-факто
использованию некоторых метрик, в первую очередь т.н. «импакт-факторов», основанных на цитируемости научных публикаций. Изначально «импакт-фактор» носил чисто библиометрический характер и прилагался для ранжирования научных журналов (наиболее часто использовалась очень простая формула: импакт-фактор журнала равен частному от деления количества ссылок в текущем году во всех родственных изданиях на статьи, опубликованные в данном журнале в предыдущие 2 года, на общее количество статей, опубликованных в данном журнале в эти предыдущие 2 года). Однако с течением времени подобные индексы стали использоваться и для оценки производительности и качества труда отдельных научных работников, исследовательских подразделений самого разного типа и даже целых стран.
Например, в настоящее время в Великобритании вводится основанная на производных от показателей ци-тируемости факторах система оценки исследовательской деятельности подразделений всех университетов страны (где британская наука в основном и сосредоточена). По итогам оценки будет осуществляться и бюджетное финансирование (для британской науки — критичное). Решение об этом уже принято, но детали еще обсуждаются, и многие авторитетные ученые не ожидают от этого ничего хорошего. И неудивительно: недостатки такого рода формальных метрик хорошо известны. Совсем недавно получил резонанс специальный Доклад Международного Союза математиков, анализирующий основанные на статистике цитируемости импакт-факторы и предостерегающий от их сколь-либо широкого использования [1].
Упомянем только наиболее очевидные проблемы с импакт-факторами. Прежде всего, пока нет общепризнанной (и тем более надлежащим образом обоснованной) методики их расчета — используются разные индексы, а один и тот же может считаться с использованием разных параметров (например, наиболее распространенный индекс — количество ссылок в расчете на одну статью — считается для разного количества лет). Часто даже для популярных индексов нет согласия в том, как именно их интерпретировать. Более того: пока не существует действительно полной базы данных для их расчета.
Наибольшее признание получили три базы: ISI (принадлежащая корпорации Thomson Scientific), Scopus (принадлежащая фирме Elsevier) и Google Scholar. Кроме того, во многих дисциплинах существуют и специальные базы данных (у математиков
— MathSciNet Американского математического общества и т.д.). Все они содержат далекие от полноты и частично несовпадающие данные и соответственно дают разные результаты расчетов. Особенно проблематично основывать на цитируемости оценку качества отдельной статьи или труда отдельного ученого: посредственная статья, попавшая «в модную струю», может быстро набрать много цитиро-
ваний, в то время как глубокая статья, опережающая свое время, может ждать своего часа довольно долго. Статья, напечатанная (в том числе и с помощью «дружественных» рецензентов) в популярном издании, может цитироваться много чаще, чем опубликованная в менее престижном издании. Обзорная статья по определению цитируется больше узкоспециальной. А уж если труд опубликован не на английском языке…
Однако, так или иначе, формальные метрики уже используются и будут еще больше использоваться на практике. Это факт, который невозможно игнорировать. Тем более, что и плюсы их использования очевидны. Научное сообщество, соответственно, заинтересовано в совершенствовании методик их расчета и корректной интерпретации. Очевидно, например, что сама статистическая природа подобных импакт-факторов позволяет сделать вывод: они могут лучше работать на больших массивах данных, где многие их недостатки нивелируются. И уже поэтому особенно интересно их использовать для оценки состояния науки на уровне государств. Конечно, отдельные выдающиеся достижения могут выламываться из подобной статистики, но усредненные, мэйнстримовые тенденции должны проявляться вполне наглядно. Конкретный пример подобной оценки см. в статье «Ранжирование научного вклада разных стран на основе импакт-фактора цитируемости».
Примечание:
1. «Международный Союз математиков предостерегает от неправильного использования статистики цитирований» (http:// www.polit.ru/science/ 2008/06/16/mathunion.html)