Москва на научной карте мира

Реальный смысл одной громкой новости

Многие новостные ленты растиражировали новость, основанную на свежем е-принте известных наукометристов из Нидерландов [1]. Во многих СМИ новость подается в виде «Москва — худший научный центр в мире». Тут есть два момента, которые свидетельствуют о непонимании статьи. Во-первых, как минимум, надо говорить о «худшем в определенном смысле из числа рассмотренных». Ведь ясно, что «худший» всегда определен по каким-то правилам, а по другим может и лучшим оказаться. Уверен, например, что Москва окажется на первом месте по общему числу ученых, способных наиболее свободно распоряжаться своим временем, включая дополнительную работу, и выбором тематики.

Карта построена с помощью сервиса www.leydesdorff.net/topcity/figure1.htm

Кроме того, очевидно, что рассмотрен какой-то конечный набор городов (и тут к авторам много вопросов: например, на интерактивных картах (см. ниже) Томск есть, а Новосибирска нет), т.е. нельзя говорить, что «Триполи лучший научный центр, чем Москва». Во-вторых, надо детально посмотреть, как же строились карты, где Москва обозначена самым большим красным кругом, свидетельствующим о неблагополучии.

Авторы использовали данные по цитируемости и публикационной активности. Они задали некоторую критическую границу, отделяющую «агнцев» от «козлищ». Она соответствует 10% статей, попавших в высокоцитируемые, т.е. входящим в топ-10% в данной области. Авторы отмечают, что если в каком-то городе — центре науки за год опубликовано 10 тыс. научных статей, то можно ожидать, что тысяча, т.е. десятая часть этих статей, войдет в число 10 % самых цитируемых статей мира. То есть, если в каком-то городе опубликовано N статей и при этом n>0,1N из них оказались высокоцитируемыми, то город будет отмечен зеленым кругом. Например, в России Челябинск отмечен зеленым, а Москва — красным.

Теперь о размере круга. Он зависит от того, насколько реальное количество статей в топ-10% по цитируемости отличается от ожидаемого. Причем использована простая линейная зависимость: радиус=abs(реальное-ожидаемое) +1. На мой взгляд, это не лучший способ, ведь ясно, что 10 лишних кило на двухметровом человеке выглядят не так, как 10 лишних кило на человеке ростом полтора метра. Я бы брал логарифмическую шкалу, как, скажем, у звездных величин. А тут получается, что если сравнить два города, в одном из которых ожидалось 3 статьи в топ-10%, а реально есть одна (разница в 3 раза), а в другом ожидалось 300, но есть 297, то именно второй будет выглядеть «хуже», т.е. как круг тревожного цвета и большего радиуса.

В итоге, в Москве с ее колоссальной концентрацией научных учреждений, где ученые пишут прорву статей, ожидается много (75 штук) высокоцитируемых, скажем, по физике. Но есть «всего лишь» 20. Поэтому Москва получается интенсивно красной (градация цвета зависит от величины отклонения и его статистической значимости) и большого радиуса. При этом город, где ожидалось 0,9 статей, а появилась одна, будет светло-зеленым, т.е. вполне благополучным, хотя и статистически малозначимым.

Исследование лишь подтверждает хорошо известные факты, что все хорошее у нас произрастает не за счет высокой эффективности, а за счет большого количества. Поэтому в процентном отношении всё не очень хорошо, хотя вал не мал. А также подтверждает, что люди готовы раздуть новость, плохо ознакомившись с оригиналом исследования.

Сергей Попов

1. arXiv: 1103.3216 (http://arxiv.org/abs/1103.3216)

5 комментариев

  1. Из всего этого можно сделать вывод, что Нидерландские ученые не владеют элементарными методами статистической обработки данных.

  2. Зато хорошо владеют инструментом пропаганды: кто будет вникать в суть каких-то «кружков»? Приклеим ярлык, пусть попытаются отмыться…

  3. > на интерактивных картах (см. ниже) Томск есть, а Новосибирска нет),
    гы-гы, тупица-автор в праведном гневе поленился увеличить карту. а на увеличенной карте Томск есть, и Новосибирск есть.

    1. На момент появления оригинальной статьи в Архиве Новосибирска на карте не было ни при каком зуме. Видимо, потом заметили и исправили.

      Первое обнаруженное упоминание отсутствия Новосибирска на карте нашел тут
      http://www.astronomy.ru/forum/index.php/topic,83605.msg1511627.html#msg1511627

  4. Кажется, что автор не до конца понял методологию исследования и смысл обозначений.
    Почему же, интересно, на некоторых картах Новосибирска нет? – Да потому что ни одна статья оттуда не входит в топ-10% статей в той области знаний, для которой сделана карта.
    Неужели при соотношениях наблюдаемых к ожидаемым статьям в топ-10%, равным, соответственно, 297/300 и 1/3, во втором случае на карте будет лучший результат (из-за размера кружка)? – Нет, конечно, в первом случае цвет кружка будет бледно-оранжевым, свидетельствующим о том, что результат в пределах статистической погрешности.

Добавить комментарий

Ваш адрес email не будет опубликован.

Оценить: