Репутационный рейтинг: как трактовать успех МГУ?

11 марта 2015 года был опубликован так называемый репутационный Мировой университетский рейтинг (WRR — World Reputation Rankings 2015) ^[1] производства авторитетного британского еженедельника Times Higher Education (THE). Этот рейтинг появился в 2011 году; три года назад я анализировал результаты рейтинга-2012 на страницах ТрВ-Наука ^[2]. В последующие два года особого смысла возвращаться к этому рейтингу не было: по самому своему определению репутации, в том числе университетов, весьма стабильны. Однако новый рейтинг репутаций — 2015 заслуживает специального рассмотрения, причем по двум причинам.

Во-первых, недавно THE сменил партнера: вместо Thomson Reuters им стал издательский концерн Elsevier. При этом помимо замены предоставляемой партнером базы данных публикаций и цитирований Web of Science на базу Scopus как основы используемой наукометрии было декларировано намерение пересмотреть, хотя и не слишком радикально, методологию составления рейтинга. Приведет ли это к значимым изменениям в рейтинговых таблицах? А во-вторых, российские университеты преуспели в этом новейшем рейтинге как никогда прежде, что само по себе интересно и заслуживает анализа.

Рейтинг и его итоги

Под маркой еженедельника THE выпускаются несколько рейтинговых продуктов. Основным является публикуемый ежегодно в октябре Мировой университетский рейтинг (The Times Higher Education World University Rankings — WUR). Будем далее ссылаться на него как на «интегральный» — он подсчитывается на основе 13 индикаторов, сгруппированных по пяти категориям: «Учебный процесс», «Научные исследования», «Цитируемость», «Доход от инноваций», «Университет в мировой перспективе». Этот рейтинг служит основой для расчетов нескольких других рейтингов, в том числе и репутационного, который в цифровом выражении является взвешенной суммой двух индикаторов из 13 (в отношении 2:1), отражающих мнения экспертов о научной и учебной репутации вузов.

Публикуемые таблицы интегрального рейтинга WUR включают информацию о 400 лучших университетах. А вот в рамках репутационного рейтинга WRR обнародуются места только для первой сотни вузов. В Таблице 1 представлены фактические результаты лидеров этого рейтинга (для сравнения динамики даны также места в предыдущем WRR и в последнем WUR), а также еще нескольких вузов, включая российские (в полном виде таблицы можно найти на сайте THE ^[1]). Цифровые данные (взвешенная по отношению к находящемуся на первом месте Гарвардскому университету репутация — как интегральная, так и отдельно по «науке» и «учебному процессу») приводятся только для первых 50 мест — для второй полусотни цифры отличаются слишком мало).

Можно констатировать, что флуктуации среди лидеров не слишком значительны: в первой десятке по-прежнему только британские (Кембридж и Оксфорд на втором и третьем местах) и американские (с неизменным Гарвардом во главе) университеты; в первой двадцатке появился всего один новичок (на 17-е место с предыдущего 25-го продвинулся Университетский колледж Лондона), и при этом из нее никто не вылетел (20-е место поделили два университета). Во второй полусотне, однако, изменений много больше, новичков немало. В Таблице 2 можно увидеть, сколько университетов отдельных стран вошли в топ-100.

Для нас, разумеется, важно отметить результаты российских вузов. Во-первых, МГУ занял весьма высокое 25-е место, а во-вторых, впервые в первой сотне появился и второй наш университет — СПбГУ (разделил 71–80-е места). Безусловно, это большой успех, вот и редактор рейтингового приложения THE Фил Бейти (Phil Baty) в разговоре с корреспондентом ТАСС назвал новый рейтинг «вдохновляющим результатом для России» ^[5]; проблема в том, что не слишком понятно, как этот результат содержательно трактовать.

Почему репутация МГУ «скачет»?

В Таблице 3 представлены места МГУ в интегральном и репутационном рейтингах THE за последние пять лет. Если в интегральном мировом рейтинге, принимающем во внимание по большей части объективные данные (в том числе количество публикуемых статей, показатели цитируемости и многое другое), ситуация для МГУ более-менее стабильная, хотя и не слишком завидная (позиции в разных частях третьей сотни, и только в последнем удалось продвинуться в самый конец второй), то в рейтинге репутаций флуктуации более заметны, что не слишком типично для топ-100 (куда МГУ удавалось попадать, за исключением одного года). «Эксперты», сообщающие свое субъективное мнение о научной и учебной деятельности университетов, каждый год приглашаются по новой (я сам однажды был приглашен). Почему такой разброс в итогах именно для МГУ? Неужели такая, по идее, устойчивая вещь, как репутация, зависит от выборки экспертов или от некой специфической в конкретном году информации?

Фил Бейти отмечает в аналитической статье ^[6], что достигнутая МГУ позиция «значительно выше, чем в интегральном рейтинге (дележ 196-го места), который основан по большей части на объективных данных». Добавлю, что такой огромной разницы между позициями в двух рейтингах ни у какого другого университета из первых 50 в рейтинге репутаций нет (худшие места в интегральном рейтинге — 80-е и 70-е — у двух немецких университетов, в основном же оба списка очень похожи). И в предыдущие годы репутация МГУ оказывалась много лучше объективных показателей его деятельности, но в этом году разрыв достиг максимума.

Послушаем объяснения руководителя МГУ. В уже упомянутой статье в THE Ф. Бейти цитирует следующее высказывание ректора В. Садовничего: «Возможно, самым большим фактором в успехе любого глобального университета является финансирование. МГУ с его великой историей и национальным статусом заслужил то щедрое финансирование, которое делает его конкурентоспособным на мировой сцене». Он также делает акцент на успехах в международном сотрудничестве и особо отмечает «дарованную в 2009 г. специальным законодательным актом большую автономию», а также «драматический рост университета в последнее десятилетие». А пресс-служба МГУ, цитируя своего ректора ^[7], связывает высокое место вуза в рейтинге с пересмотром «программы его эффективности по всем направлениям».

Все эти слова, наверное, правильные, но я все-таки затрудняюсь интепретировать их не вообще, а применительно к конкретному рейтинговому итогу. В чем именно проявилась эта самая не особо ранее заметная «эффективность», что эксперты резко повысили свое мнение о флагмане российского образования? Вот Фил Бейти в уже цитировавшемся разговоре с корреспондентом ТАСС сказал: «Иностранная профессура следит за положительными изменениями в МГУ, в частности за строительством технологического городка» ^[5]. Этот «технологический городок» поминается практически в каждой заметке российских СМИ об успехе МГУ в рейтинге.

Неужели «иностранная профессура» действительно вот так вот пристально следит за судьбоносными планами строительства в МГУ, суть которых не слишком ясна даже его сотрудникам, и тут же корректирует на этом основании свои представления о давно сложившейся репутации старейшего университета? Это не говоря о том, что новость об этом стала широко известна уже после того, как рейтинговые эксперты высказались. (Цитирую нашумевший материал РБК ^[8]: «„Хотим построить научно—технологическую долину впервые в России и даже в мире“ — этими словами 15 января 2015 года ректор МГУ Виктор Садовничий описывал проект президенту Владимиру Путину». А «нашумел» он не в последнюю очередь из-за личности руководителя проекта Катерины Тихоновой с ее предполагаемыми высокими родственными связями, — а до этого речь о проекте шла больше в сослагательном наклонении и за пределами России громко не звучала).

Дело в самом рейтинге?

Читая неоднократно уже упомянутую аналитическую статью Фила Бейти ^[6] в бумажном издании THE, я обратил внимание на ее крупно набранный подзаголовок «Обновленная методология резко усилила позиции стран БРИКС в рейтинговой таблице…». Как известно, именно в странах БРИКС (в отличие от западных) продвижению своих университетов в международных рейтингах уделяется особое государственное внимание, в России даже действует специальная широко разрекламированная программа «5-100» ^[9] с целевым вложением значительных бюджетных средств (притом что выведенные за пределы этой программы МГУ и СПбГУ щедро финансируются на индивидуальной основе).

Невольно возникает подозрение, что создатели международных рейтингов (а это коммерческие структуры) не прочь получить свою долю выгоды от «сотрудничества» со столь озабоченными успехом в их таблицах странами. Собственно, в прошлом году появился новый продукт THE — Рейтинг университетов стран БРИКС и стран с формирующейся рыночной экономикой (The Times Higher Education BRICS & Emerging Economies Rankings) ^[10]. В этом рейтинге, кстати, МГУ был на 10-м месте в 2014 году и на 5-м в 2015-м, оставив, впрочем, всех своих более удачливых конкурентов позади в репутационном рейтинге.

Я ни в коем случае не хочу сказать, что полученные в результате опроса экспертов данные как-то подгонялись. Но вот методология, судя, в том числе, и по процитированному заявлению Бейти, прицельно изменена так, чтобы стать вузам этих стран более дружественной. К сожалению, публично доступное описание методологии и процедуры проведения опроса очень скудно.

Сообщается, что в ноябре и декабре 2014 года от экспертов, представлявших 142 страны, было получено 10 507 ответов на предложенные вопросы, из которых 9974 были учтены в рейтинге. Отвечать предлагалось на одном из 15 языков (включая русский), при этом было достигнуто самое сбалансированное за все годы распределение экспертов по дисциплинам (каждый должен был назвать не более десяти лучших университетов по своей специальности). В чем именно состояло «обновление методологии», не очень ясно, и, в отличие от прошлых лет, точные формулировки вопросов в обнародованных материалах рейтинга отсутствуют.

В частности, отмечено, что количество экспертов из Северной Америки уменьшилось (18% против 24% в 2012 году), а из Восточной Европы — увеличилось (11% против 8% в 2012 году). Наибольшее количество экспертов представляли США (15,8%), на втором месте — Китай (10,6%). Более специфических данных не приводится — разве что с гордостью сообщается, что появились (цитирую) «эксперты из Бирмы, Сьерра-Леоне и Йемена — и даже один из Северной Кореи». Подобная политкорректная «географическая» сбалансированность приводит, однако, к очевидной несбалансированности по сути, если исходить из количества и — особенно! — качества научного и учебного выхода.

Как следствие очень непросто трактовать причину движения вверх или вниз конкретных университетов в конкретном году по сравнению с предыдущими. Изучая цифры в полной версии Таблицы 1, можно, к примеру, заключить, что шестерка лидеров далеко оторвалась от всех остальных конкурентов; что разрыв в 9 баллов между 8-м (Йель) и 9-м (Калифорнийский технологический институт) больше, чем разрыв между 20-м и 50-м местами, что, на-верное, свидетельствует о немногочисленной реально элитной когорте флагманов мирового высшего образования.

Но попробуйте понять, почему, к примеру, английские Кембридж и Оксфорд в прошлом году занимали 4-е и 5-е места, а в этом продвинулись на 2-е и 3-е? Почему «репутация» этих старейших университетов так изменилась всего за год? Ну, а о проблемах интерпретации более радикальных флуктуаций, в частности случившихся с российскими вузами, уже сказано достаточно.

В очередной раз можно констатировать: за пределами развитых западных стран, причем в основ-ном англоязычных, международные университетские рейтинги отражают много меньше реального содержания, чем это подается (и продается) их создателями. Прозрачность методологии и технологии явно недостаточна, чтобы делать содержательные выводы. Впрочем, не буду повторяться: о том, как стоит трактовать рейтинги, я не раз писал, наиболее подробно в комментарии на «Полит.ру» ^[11] полтора года назад.

1. THE World Reputation Rankings 2015.

2. Мировой рейтинг и российские эксперты.

3. www.elsevier.com/connect/rankings-provide-a-more-complete-picture-of-worldwide-research

4. The Times Higher Education World University Rankings.

5. МГУ резко поднялся в мировом рейтинге престижности университетов.

6. A virtuous girdle round the earth in three steps.

7. Ректор: МГУ имеет резервы для продвижения в мировых рейтингах.

8. Расследование РБК: кто стоит за расширением МГУ.

9. http://5top100.ru

10. The Times Higher Education BRICS & Emerging Economies Rankings.

11. МГУ, Физтех и МИФИ в мировом рейтинге вузов.