Рейтинги нужно понимать

Дискуссии о месте российских университетов среди других вузов мира не утихают. Своими размышлениями на эту тему с ТрВ-Наука поделился докт. физ.-мат. наук, зав. лабораторией физики элементарных частиц ИТЭФ Андрей Ростовцев.

3 октября 2012 года британское издание Times Higher Educa­tion опубликовало результа­ты глобального исследования и сопровождающий его рейтинг топ-200 университетов мира — THE (Times Higher Education World University Rankings) [1]. Как и в прошлые годы, ни один российский университет не попал в этот топ-лист. Тем не менее, два российских вуза все-таки удовлетворили минимальным условиям, которые предъявляются к участни­кам этого международного рейтинга и заняли почетные места в группе 200–250, т.е., почти у самого поро­га элитного клуба 200 лучших уни­верситетов мира. Эти два универ­ситета — МГУ им. М.В. Ломоносова и НИЯУ МИФИ.

Реакция по этому поводу в ака­демической среде была, как водит­ся, неоднозначной. Так, ректор МГУ Виктор Садовничий убежден в том, что «престижные международные рейтинги рассчитаны на англосак­сонскую систему образования и не учитывают особенности наших ву­зов». Поэтому на очередном засе­дании научно-экспертного совета при председателе Совета Федера­ции он предложил создать в Рос­сии свой международный рейтинг университетов. Интересно, чем кон­кретно ректора Московского уни­верситета не устраивают уже име­ющиеся?

В своем интервью информаци­онному агентству ИТАР-ТАСС глава аналитической службы Российско­го союза ректоров Борис Деревягин, комментируя результаты нового рейтинга ТHE, не согласился с зави­симостью оценки качества высшего образования от размеров финансирования университета. Более того, он заявил, что «публикация научных от­крытий на английском языке» вовсе не то, чем должен заниматься рос­сийский университет. «…Вузы должны служить, прежде всего, развитию но­вых социально-экономических отно­шений, росту благосостояния страны, в которой они расположены, должны стать местом встречи идей и их ре­шений, служащих благу народа» [2]. Наверное, именно эти критерии аналитика из Союза ректоров и лягут в основу нового суверенного рейтин­га университетов мира. Хотя, если су­дить по благосостоянию народа, то наши университеты в такой мировой рейтинг вообще рискуют не попасть. Не случайно те, у кого с благососто­янием всё в порядке, предпочитают все-таки учить своих детей в первой десятке университетов-победителей именно рейтинга THE.

У эксперта издания Times Филип­па Альтбаха (Philip Altbach) другое мнение на этот счет: Одна из про­блем университетов Центральной и Восточной Европы состоит в том, что они по-настоящему не стали международными… Бюджеты оста­ются скромными, а наследие комму­низма продолжает сказываться на России и на всем этом регионе [1]. То есть попросту российским вузам не хватает финансирования, и о них мало кто знает за рубежом. Если раз­мер финансирования — пара­метр вполне формальный, то известность трудно формализовать, и по этому поводу часто высказываются обиды: «как это так, нас никто не знает? Да мы…!» Поэтому будет полезно поразмышлять о том, как и в каких единицах изме­рять международное призна­ние (visibility) того или иного университета.

Начнем с того, что долгое время вклад в мировую науку, научную значимость и извест­ность в международном науч­ном сообществе было принято тари­фицировать по количеству научных статей, опубликованных в рецензиру­емых изданиях, и по числу ссылок на них, т.е., цитированием. Это, конечно, логичный и вполне понятный крите­рий. Но с течением времени и он пе­рестал в полной мере отражать ре­альное состояние дел.

Так, например, в области знаний, на передовом фронте которой ра­ботают тысячи ученых-физиков на Большом адронном коллайдере в международной лаборатории ЦЕРН, число соавторов в одной журналь­ной статье может значительно пре­вышать штат научных сотрудников среднего западного исследователь­ского центра. В такой статистике ре­альный вклад каждого конкретного соавтора статьи и даже целой груп­пы соавторов, представляющей один конкретный университет, сильно раз­мыт. Также не отражает реального состояния дел и число цитирований подобных статей. В этом легко убе­диться, если сравнить количество публикаций, например, НИЯУ МИФИ и Принстонского университета по базе данных INSPIRE за последние годы. Результат будет различаться всего в 2,5 раза в пользу Принстона. Но где Принстон, а где МИФИ? Без обид, МИФИ на 242-м месте, а Принстон — на 6-м. Разница между этими оцен­ками — пара порядков.

Как же формально оценить ми­ровую известность университета?

Представим себе короткую сценку, которая может произойти в том же ЦЕРНе или другой крупной между­народной лаборатории. Двое уче­ных представляются друг другу при знакомстве:

— I am John from Princeton University.

— I am Anatoly from ATLAS.

Мой многолетний опыт работы в международных научных проек­тах свидетельствует, что именно так зачастую и происходит. Интуитивно Джон ассоциирует себя с домашним институтом, а Анатолий — с крупным международным проектом, в котором он работает. На уровне подсознания Анатолий понимает, что дать первое представление о себе будет проще, если связать его с именем хорошо известного проекта, нежели долго объяснять, что такое МИФИ. Честное, по Гамбургскому счету, самоопреде­ление, как раз и есть та лакмусовая бумажка — тест на реальную извест­ность в научных кругах. Конечно, бы­вают и исключения.

Вышеописанный тест трудно пре­вратить в статистическое исследова­ние, но, к счастью, можно посмотреть на эту же проблему и с более техни­ческой стороны. Например, можно поинтересоваться в той же базе данных публикаций INSPIRE, как авторы на­учных трудов из МИФИ и Принстона идентифицируют свою принадлеж­ность по адресу собственной электронной почты. Если аффилиация со своим работодателем — требование формальное, то в своем адресе ни­кто тебя не заставляет представлять­ся, как ты считаешь неправильным и неудобным во всех отношениях. И что же обнаруживается? Из всех ученых МИФИ только трое (!) указывают свой действительный адрес электронной почты, принадлежащий своему же университету. Остальным 98% ав­торов из МИФИ оказалось удобнее представляться через cern.ch, bnl.gov, fnal.gov, desy.de, целый зоопарк и mail.ru. В Принстонском универси­тете картина прямо противополож­ная: используя адреса princeton.edu или pppl.gov, самоопределяют себя более половины, т.е. несколько со­тен (!!) ученых. И это справед­ливая самооценка, отражающая реальное положение дел с ви-зибилити и заодно с положени­ем в международном рейтинге университетов THE.

С публикацией последнего рейтинга университетов THE всплыл еще один любопытный сюжет, подтверждающий, что слепой пересчет числа статей и ссылок на них сам по себе мало, о чем говорит.

Удивительным образом по­казатель цитируемости МИФИ в рейтинге THE за 2012-2013 годы составил 100%. Этот показа­тель имеет кумулятивную природу. По определению Times, это означа­ет, что с вероятностью 100% любой другой случайно взятый универси­тет, попавший в этот рейтинг, будет иметь цитируемость меньшую (или равную), чем МИФИ. Реакция на это последовала незамедлительно. При­кладной математик из Великобрита­нии Валерий Аджиев пишет на своей странице в Фэйсбуке: Это, конечно, замечательно, что альма-матер так преуспела, но более пристальный взгляд привел меня в недоумение: по всем параметрам МИФИ оценен очень низко. А вот по «цитируемости» (которая дает 30% вклада в общий результат) не просто высо­ко — получена максимально возмож­ная оценка (‘100’), которой достиг (если мой беглый взгляд верен) еще только Rice Uni. Ни один из элитных университетов во главе списка та­кого успеха не добился! При этом, за research (тоже дает 30%) получено (из тех же 100 возможных) у МИФИ всего лишь 10,6 (это очень низкий показатель).

Сразу закралось подозрение, что это — технический сбой. Чтобы раз­веять это сомнение, пришлось свя­заться с издательством Times, и вот что прояснилось.

1. Это не был технический сбой. У МИФИ есть две выдающиеся на­учные статьи, учтенные в базе дан­ных WoS, с индексами цитируемости на тот момент 3306 и 4916. Да, да никто не ошибся, у Нобелевских лауреатов цитируемость на поря­док ниже. Это справочник по эле­ментарным частицам, Particle Data Group (PDG). По традиции, этот об­зор переиздается раз в 2 года и публикуется в журнале Phys Lett B. В состав группы, готовившей этот справочник к печати, в 2008 и 2010 годах, да и в 2012-м, вхо­дил сотрудник МИФИ. Но, как же так получилось, спросите вы, ведь в группу PDG входят и представи­тели других университетов, в част­ности представитель Калтеха, за­нявшего первое место в рейтинге университетов? А показатель цитируемости у Калтеха ниже 100%. Где же справедливость?
2. Справедливость кроется в повы­шающих коэффициентах. Чтобы как-то уравнять разные страны, регионы и традиции, Times вводит дополни­тельную нормировку для цитируемости научных работ. Действительно, средняя цитируемость статей американских университетов будет гораз­до выше, чем средняя цитируемость статей университета из Анголы. Не потому что в Анголе плохие ученые, а просто потому, что их статьи го­раздо реже читают. По этой же при­чине для российских университетов Times вводит повышающий коэффи­циент. Опустим здесь подробности его вычисления, но в результате дан­ные МИФИ были усилены относи­тельно данных Калтеха в 1,44 раза. А поскольку и для МИФИ и для Калтеха этот справочник делает всю статистику и определяет показате­ли относительно других универси­тетов, то, имея в кармане гандикап в 44%, МИФИ с легкостью обставля­ет «более слабого» американского соперника и выходит на 1-е место по цитируемости научных резуль­татов в мире.
3. МГУ повезло гораздо меньше: его сотрудники не попали в группу соавторов PDG. Поэтому по цитируемости своих научных работ Мо­сковский университет еле дотяги­вает до 20%.

Мораль: Рейтинги — это хорошо. Но к их результатам надо относиться осторожно, с пониманием. Надеем­ся, что составители нового, суверен­ного Российского рейтинга учтут эти нюансы современной наукометрии.

1. www.timeshighereducation.co.uk/world-university-rankings/2012-13/world-ranking/range/001-200

2. www.itar-tass.com/c9/537431.html

3. http://polit.ru/article/2012/10/04/ranking