Репутационный рейтинг: как трактовать успех МГУ?

175-0023

Валерий Аджиев
Валерий Аджиев

11 марта 2015 года был опубликован так называемый репутационный Мировой университетский рейтинг (WRR — World Reputation Rankings 2015) [1] производства авторитетного британского еженедельника Times Higher Education (THE). Этот рейтинг появился в 2011 году; три года назад я анализировал результаты рейтинга-2012 на страницах ТрВ-Наука [2]. В последующие два года особого смысла возвращаться к этому рейтингу не было: по самому своему определению репутации, в том числе университетов, весьма стабильны. Однако новый рейтинг репутаций — 2015 заслуживает специального рассмотрения, причем по двум причинам.

Во-первых, недавно THE сменил партнера: вместо Thomson Reuters им стал издательский концерн Elsevier. При этом помимо замены предоставляемой партнером базы данных публикаций и цитирований Web of Science на базу Scopus как основы используемой наукометрии было декларировано намерение пересмотреть, хотя и не слишком радикально, методологию составления рейтинга. Приведет ли это к значимым изменениям в рейтинговых таблицах? А во-вторых, российские университеты преуспели в этом новейшем рейтинге как никогда прежде, что само по себе интересно и заслуживает анализа.

Рейтинг и его итоги

Под маркой еженедельника THE выпускаются несколько рейтинговых продуктов. Основным является публикуемый ежегодно в октябре Мировой университетский рейтинг (The Times Higher Education World University Rankings — WUR). Будем далее ссылаться на него как на «интегральный» — он подсчитывается на основе 13 индикаторов, сгруппированных по пяти категориям: «Учебный процесс», «Научные исследования», «Цитируемость», «Доход от инноваций», «Университет в мировой перспективе». Этот рейтинг служит основой для расчетов нескольких других рейтингов, в том числе и репутационного, который в цифровом выражении является взвешенной суммой двух индикаторов из 13 (в отношении 2:1), отражающих мнения экспертов о научной и учебной репутации вузов.

Таблица 1. Мировой репутационный рейтинг-2015 (фрагменты)
Таблица 1. Мировой репутационный рейтинг-2015 (фрагменты)

Публикуемые таблицы интегрального рейтинга WUR включают информацию о 400 лучших университетах. А вот в рамках репутационного рейтинга WRR обнародуются места только для первой сотни вузов. В Таблице 1 представлены фактические результаты лидеров этого рейтинга (для сравнения динамики даны также места в предыдущем WRR и в последнем WUR), а также еще нескольких вузов, включая российские (в полном виде таблицы можно найти на сайте THE [1]). Цифровые данные (взвешенная по отношению к находящемуся на первом месте Гарвардскому университету репутация — как интегральная, так и отдельно по «науке» и «учебному процессу») приводятся только для первых 50 мест — для второй полусотни цифры отличаются слишком мало).

Таблица 2. Национальное представительство в Мировом репутационном рейтинге — 2015
Таблица 2. Национальное представительство в Мировом репутационном рейтинге — 2015

Можно констатировать, что флуктуации среди лидеров не слишком значительны: в первой десятке по-прежнему только британские (Кембридж и Оксфорд на втором и третьем местах) и американские (с неизменным Гарвардом во главе) университеты; в первой двадцатке появился всего один новичок (на 17-е место с предыдущего 25-го продвинулся Университетский колледж Лондона), и при этом из нее никто не вылетел (20-е место поделили два университета). Во второй полусотне, однако, изменений много больше, новичков немало. В Таблице 2 можно увидеть, сколько университетов отдельных стран вошли в топ-100.

Для нас, разумеется, важно отметить результаты российских вузов. Во-первых, МГУ занял весьма высокое 25-е место, а во-вторых, впервые в первой сотне появился и второй наш университет — СПбГУ (разделил 71–80-е места). Безусловно, это большой успех, вот и редактор рейтингового приложения THE Фил Бейти (Phil Baty) в разговоре с корреспондентом ТАСС назвал новый рейтинг «вдохновляющим результатом для России» [5]; проблема в том, что не слишком понятно, как этот результат содержательно трактовать.

Таблица 3. Позиции МГУ в рейтингах
Таблица 3. Позиции МГУ в рейтингах

Почему репутация МГУ «скачет»?

В Таблице 3 представлены места МГУ в интегральном и репутационном рейтингах THE за последние пять лет. Если в интегральном мировом рейтинге, принимающем во внимание по большей части объективные данные (в том числе количество публикуемых статей, показатели цитируемости и многое другое), ситуация для МГУ более-менее стабильная, хотя и не слишком завидная (позиции в разных частях третьей сотни, и только в последнем удалось продвинуться в самый конец второй), то в рейтинге репутаций флуктуации более заметны, что не слишком типично для топ-100 (куда МГУ удавалось попадать, за исключением одного года). «Эксперты», сообщающие свое субъективное мнение о научной и учебной деятельности университетов, каждый год приглашаются по новой (я сам однажды был приглашен). Почему такой разброс в итогах именно для МГУ? Неужели такая, по идее, устойчивая вещь, как репутация, зависит от выборки экспертов или от некой специфической в конкретном году информации?

Фил Бейти отмечает в аналитической статье [6], что достигнутая МГУ позиция «значительно выше, чем в интегральном рейтинге (дележ 196-го места), который основан по большей части на объективных данных». Добавлю, что такой огромной разницы между позициями в двух рейтингах ни у какого другого университета из первых 50 в рейтинге репутаций нет (худшие места в интегральном рейтинге — 80-е и 70-е — у двух немецких университетов, в основном же оба списка очень похожи). И в предыдущие годы репутация МГУ оказывалась много лучше объективных показателей его деятельности, но в этом году разрыв достиг максимума.

Послушаем объяснения руководителя МГУ. В уже упомянутой статье в THE Ф. Бейти цитирует следующее высказывание ректора В. Садовничего: «Возможно, самым большим фактором в успехе любого глобального университета является финансирование. МГУ с его великой историей и национальным статусом заслужил то щедрое финансирование, которое делает его конкурентоспособным на мировой сцене». Он также делает акцент на успехах в международном сотрудничестве и особо отмечает «дарованную в 2009 г. специальным законодательным актом большую автономию», а также «драматический рост университета в последнее десятилетие». А пресс-служба МГУ, цитируя своего ректора [7], связывает высокое место вуза в рейтинге с пересмотром «программы его эффективности по всем направлениям».

Все эти слова, наверное, правильные, но я все-таки затрудняюсь интепретировать их не вообще, а применительно к конкретному рейтинговому итогу. В чем именно проявилась эта самая не особо ранее заметная «эффективность», что эксперты резко повысили свое мнение о флагмане российского образования? Вот Фил Бейти в уже цитировавшемся разговоре с корреспондентом ТАСС сказал: «Иностранная профессура следит за положительными изменениями в МГУ, в частности за строительством технологического городка» [5]. Этот «технологический городок» поминается практически в каждой заметке российских СМИ об успехе МГУ в рейтинге.

Неужели «иностранная профессура» действительно вот так вот пристально следит за судьбоносными планами строительства в МГУ, суть которых не слишком ясна даже его сотрудникам, и тут же корректирует на этом основании свои представления о давно сложившейся репутации старейшего университета? Это не говоря о том, что новость об этом стала широко известна уже после того, как рейтинговые эксперты высказались. (Цитирую нашумевший материал РБК [8]: «„Хотим построить научнотехнологическую долину впервые в России и даже в мире“этими словами 15 января 2015 года ректор МГУ Виктор Садовничий описывал проект президенту Владимиру Путину». А «нашумел» он не в последнюю очередь из-за личности руководителя проекта Катерины Тихоновой с ее предполагаемыми высокими родственными связями, — а до этого речь о проекте шла больше в сослагательном наклонении и за пределами России громко не звучала).

Дело в самом рейтинге?

Читая неоднократно уже упомянутую аналитическую статью Фила Бейти [6] в бумажном издании THE, я обратил внимание на ее крупно набранный подзаголовок «Обновленная методология резко усилила позиции стран БРИКС в рейтинговой таблице…». Как известно, именно в странах БРИКС (в отличие от западных) продвижению своих университетов в международных рейтингах уделяется особое государственное внимание, в России даже действует специальная широко разрекламированная программа «5-100» [9] с целевым вложением значительных бюджетных средств (притом что выведенные за пределы этой программы МГУ и СПбГУ щедро финансируются на индивидуальной основе).

Невольно возникает подозрение, что создатели международных рейтингов (а это коммерческие структуры) не прочь получить свою долю выгоды от «сотрудничества» со столь озабоченными успехом в их таблицах странами. Собственно, в прошлом году появился новый продукт THE — Рейтинг университетов стран БРИКС и стран с формирующейся рыночной экономикой (The Times Higher Education BRICS & Emerging Economies Rankings) [10]. В этом рейтинге, кстати, МГУ был на 10-м месте в 2014 году и на 5-м в 2015-м, оставив, впрочем, всех своих более удачливых конкурентов позади в репутационном рейтинге.

Я ни в коем случае не хочу сказать, что полученные в результате опроса экспертов данные как-то подгонялись. Но вот методология, судя, в том числе, и по процитированному заявлению Бейти, прицельно изменена так, чтобы стать вузам этих стран более дружественной. К сожалению, публично доступное описание методологии и процедуры проведения опроса очень скудно.

Сообщается, что в ноябре и декабре 2014 года от экспертов, представлявших 142 страны, было получено 10 507 ответов на предложенные вопросы, из которых 9974 были учтены в рейтинге. Отвечать предлагалось на одном из 15 языков (включая русский), при этом было достигнуто самое сбалансированное за все годы распределение экспертов по дисциплинам (каждый должен был назвать не более десяти лучших университетов по своей специальности). В чем именно состояло «обновление методологии», не очень ясно, и, в отличие от прошлых лет, точные формулировки вопросов в обнародованных материалах рейтинга отсутствуют.

В частности, отмечено, что количество экспертов из Северной Америки уменьшилось (18% против 24% в 2012 году), а из Восточной Европы — увеличилось (11% против 8% в 2012 году). Наибольшее количество экспертов представляли США (15,8%), на втором месте — Китай (10,6%). Более специфических данных не приводится — разве что с гордостью сообщается, что появились (цитирую) «эксперты из Бирмы, Сьерра-Леоне и Йемена — и даже один из Северной Кореи». Подобная политкорректная «географическая» сбалансированность приводит, однако, к очевидной несбалансированности по сути, если исходить из количества и — особенно! — качества научного и учебного выхода.

Как следствие очень непросто трактовать причину движения вверх или вниз конкретных университетов в конкретном году по сравнению с предыдущими. Изучая цифры в полной версии Таблицы 1, можно, к примеру, заключить, что шестерка лидеров далеко оторвалась от всех остальных конкурентов; что разрыв в 9 баллов между 8-м (Йель) и 9-м (Калифорнийский технологический институт) больше, чем разрыв между 20-м и 50-м местами, что, на-верное, свидетельствует о немногочисленной реально элитной когорте флагманов мирового высшего образования.

Но попробуйте понять, почему, к примеру, английские Кембридж и Оксфорд в прошлом году занимали 4-е и 5-е места, а в этом продвинулись на 2-е и 3-е? Почему «репутация» этих старейших университетов так изменилась всего за год? Ну, а о проблемах интерпретации более радикальных флуктуаций, в частности случившихся с российскими вузами, уже сказано достаточно.

В очередной раз можно констатировать: за пределами развитых западных стран, причем в основ-ном англоязычных, международные университетские рейтинги отражают много меньше реального содержания, чем это подается (и продается) их создателями. Прозрачность методологии и технологии явно недостаточна, чтобы делать содержательные выводы. Впрочем, не буду повторяться: о том, как стоит трактовать рейтинги, я не раз писал, наиболее подробно в комментарии на «Полит.ру» [11] полтора года назад.

1. THE World Reputation Rankings 2015.

2. Мировой рейтинг и российские эксперты.

3. www.elsevier.com/connect/rankings-provide-a-more-complete-picture-of-worldwide-research

4. The Times Higher Education World University Rankings.

5. МГУ резко поднялся в мировом рейтинге престижности университетов.

6. A virtuous girdle round the earth in three steps.

7. Ректор: МГУ имеет резервы для продвижения в мировых рейтингах.

8. Расследование РБК: кто стоит за расширением МГУ.

9. http://5top100.ru

10. The Times Higher Education BRICS & Emerging Economies Rankings.

11. МГУ, Физтех и МИФИ в мировом рейтинге вузов.

23 комментария

  1. Лично мне рейтинг показал многое: что мою alma mater раньше недооценивали, что рейтинги рейтингам рознь, много политики, много невнивательности, неуважения к российским вузам. Уж очень сильно СПбГУ был недооценен в плане репутации, когда окончивал ЛГУ даже не думал об этом, потому что не было людей, которые не знали вуз. Не думаю, что репутация могла куда-до деться. Скорее — молчали, думал, что избавились от занавеса при падении Берлинской стены, нет — теперь знаю, что от занавеса удалось избавиться только сейчас. Искренна рад за родной университет, многие коллеги рады, в том числе мои любимые химики.

  2. после командировки в Вашингтон, свадебного путешествия с мужем по Европе поняла главное, — нас оценивают другие люди с другим мышлением,радуюсь за Санкт-Петербургский государственный вуз, который окончила в нулевые годы. не буду вдаваться в детальности,но вуз хорошо знают за рубежом,но не всегда правильно реагируют на аббревиатуру СПбГУ, для многих более известна — Ленинградский государственный университет. Рассказываю не только про своих соотечественников,но и про закоренелых иностранцев,которые и в России не были. Надеемся с мужем, что академическое сообщество будет оценивать вуз достойно. Горды за университеты,потому что муж окончил МГУ — познакомились на научной конференции в студенческие годы,понравился мне молодой человек.надеюсь и вузы зарубежным коллегам понравятся —такая ностальгия.спасибо за внимание

  3. ура СПб ГУ!! не очень верю в рейтинги,но порадовали

  4. Был в Петерсбурге в прошлом году, за последние 10 лет Россия сильно изменилась. Большую роль в этом сыграл не самый справедливо оцененный Президент РФ Дмитрий Анатольевич Медведев, который окончил Санкт-Петербургский университет. Нужны ли нам рейтинги? Нужны. Объективны ли они? Не знаю. Нельзя не видеть достигнутых результатов в Петербурге, где я родился. Репутация репутации рознь.. Васильевский остров FOREVER!

    1. Да, похоже боты — разница между временем размещения 5-ти сообщений едва превышает 20 мин.

    2. demina,такие бессовестные. Вам за рекламу ул.Савушкина и svoboda.org сколько заплатили?
      МГУ — самый лучший вуз, лучше Гарварда! Скоро еще новые спутники запустими, кто не знает.. наш шпиль самый высокий в мире. Спасибо уважаемому нашему Виктору Антоновичу. И за обсерваторию спасибо! Смотрите почаще Первый канал

  5. Слава ректору МГУ Садовничему: http://www.vedomosti.ru/management/news/2015/03/24/sadovnichii-prizval-otsenivat-nauchnie-dostizheniya-ne-po-publikatsiyam-v-inostrannih-zhurnalah Правильно говорит уважаемый академик. demina, хватит рекламировать свой сайт — никому не интересно. Поступайте лучше в МГУ на факультет политологии, если интересуетесь. По телефону позовите Кристину Петровну.

    1. Удалять не стоит. Это хорошая иллюстрация того, как ведущие вузы страны зарабатывают себе рейтинги.

  6. Основанные на опросах рейтинги типа WRR бессмысленны без приложения, по крайней мере, полного списка опрошенных, перечня вопросов и статистики распределения ответов на вопросы. В приличных научных изданиях публикации принято снабжать приложением экспериментальных данных и прочих материалов, позволяющих судить о качестве и достоверности результатов. Неприличные издания такой щепетильностью обычно не страдают. То, что руководство вузов делает на основании таких рейтингов выводы о прогрессе – не лучшая ему характеристика.

    1. Рейтинги следует сравнивать не со статьями, а с рецензиями. Рейтинги, основанные на публикациях и цитируемости, также отражают мнения рецензентов, редакторов и восприятие другими учеными. Списка которых никто не приводит.

      1. Ошибочка. Рейтинг – это результат исследования, публикация которого как раз наиболее корректно сравнима с научными статьями, в которых излагаются результаты исследований. При этом для рейтинга нет никаких проблем с публикацией списка опрошенных и статистики ответов (без привязки ответов к респондентам).

        1. Не могу согласиться. Рейтинг — оценка исследований. Которая в конечном итоге субъективна. Аккурат не надо субъективную оценку смешивать с объективными результатами исследований. А надо воспринимать рейтинги именно как штуку субъективную. Доверие к которой (как к рецензии на статью) основывается не на объективном материале, а на репутации рецензента или редактора.

          1. Оценка является результатом рейтинга, а сам рейтинг – исследование со своей методикой, данными их анализом и всем прочим содержимым, требующим описания. Без описания методики и публикации исходных данных, рейтинг действительно становится субъективной оценкой, из которой невозможно делать надёжных выводов о прогрессе/регрессе ввиду невоспроизводимости, что и описано в статье. В дисклаймере данного рейтинга они сами честно пишут: “the reputation league table is based on nothing more than subjective judgement“.

  7. Участвовал в этом опросе несколько раз, в том числе в прошлом году. Насколько помню, вопросы оставались примерно теми же, так что изменения в рейтинге, как мне кажется, не связаны с изменением самих вопросов. К тому же, ряд вопросов касался не оценки университетов во всем мире, а только в вашем регионе (в моем случае — Восточная Европа). Каким образом этот региональный компонент учитывался — мне неведомо.

  8. что за ведущие вузы? в Сибири есть только один ведущий вуз — НГУ, которому нужно сильно увеличить финансирование,потому что давно обогнали мгу по показателям. урезать МГУ поток нефтедолларов — кучу денег выкидывают на ветер, только и слышно про спутники — зачем они нужны? кто разбирался? с рейстингами все ясно — вписываемся,науке нужны легкие деньги

Добавить комментарий

Ваш адрес email не будет опубликован.

Оценить: