Разбор математических полетов по индексу Хирша

Опубликованные в ТрВ № 218 интервью Наталии Деминой с академиком РАН Виктором Васильевым и лауреатом премии Филдса Станиславом Смирновым вызвали большую дискуссию, как со стороны тех, кто поддерживает выбор Отделения математики РАН, так и тех, кто считает, что были сделаны серьезные ошибки.

Один из оппонентов, А. Д. Полянин из Института проблем механики РАН, ранее опасался называть свое имя, и редакция ТрВ приветствует то, что теперь он открыто публикует свою заметку под своим именем. Интересно, что ранее в его заметках, рассылавшихся по e-mail, были претензии и к величине индекса Хирша членкора РАН А. Г. Кузнецова, но после проверки данных, проведенной академиком Васильевым, эти претензии были сняты.

Открытое письмо в редакцию «Троицкого варианта»

Главному редактору Б. И. Штерну

Глубокоуважаемый Борис Евгеньевич!

В ТрВ-Наука № 24 (218) была опубликована подборка материалов о недавно состоявшихся выборах в Российскую академию наук. В частности, в них рассматриваются выборы в Отделении математических наук, в которых я участвовал. В связи с болезнью академика-секретаря ОМН РАН Л. Д. Фаддеева мне было поручено вести заседания секции «математика» отделения. Так что я располагаю всей информацией о выборах и хотел бы прокомментировать ваши публикации, поскольку они дают искаженное представление как о процессе, так и о результатах этих выборов.

Как в вашей газете, так и во многих других откликах было подвергнуто критике неизбрание лауреата Филдсовской премии С. К. Смирнова академиком. При этом нигде не говорится о подлинной ситуации, сложившейся на его выборах. На самом деле С. К. Смирнов был избран академиком присутствующей частью секции «математика». Он получил 11 голосов из возможных 15, т. е. более двух третей голосов участвовавших в голосовании, что является определяющим условием для избрания. Однако в уставе РАН имеется дополнительное условие, по которому число голосов должно быть не меньше половины числа списочного состава секции (23 академика).

Всегда это условие выполнялось с лихвой, но не в данном случае. На прошедших выборах отсутствовали 8 академиков, 6 по болезни, двое, профессора американских университетов, проводили семестры в своих университетах. Думаю, что многие из них поддержали бы кандидатуру Смирнова. Так что мне трудно согласиться с мнением моего коллеги по отделению В. А. Васильева о коллективном маразме нашего сообщества. Я уверен в том, что если через два года состоятся выборы в РАН, выдающийся математик С. К. Смирнов займет свое место в ОМН РАН.

На этих выборах мы избрали членами-корреспондентами РАН многих талантливых молодых математиков. Раньше СМИ и чиновники упрекали нас в расширенном воспроизводстве «старья». Теперь, казалось бы, можно хоть строчкой упомянуть о таком сдвиге. Но нет, найден новый аргумент, хирш у них оказывается не тот, не той величины. В своих интервью в этом номере как Смирнов, так и Васильев объяснили, почему математики считают использование наукометрических показателей (таких, как индекс Хирша и другие) неправомерным для оценки результатов в нашей науке.

При этом процитированный Смирновым доклад Международного математического союза давно переведен на русский язык и несколько лет, наряду с другими критическими материалами наших западных коллег, доступен на сайте Независимого Московского университета (www.mccme.ru/free-books/bibliometric.pdf). Вредность этих индексов для развития науки со всей силой проявилась в самые последние годы, когда они стали определяющими для получения грантов и составления отчетов о научных исследованиях. Чтобы число работ стало побольше, можно цельную работу разбить на несколько, можно, выбирая задачу, взять ту, которая попроще и, следовательно, «надежнее», ну а для массы середняков каждое утро на компе появляется море предложений опубликоваться так, чтобы войти в WoS, Scopus и прочие предписанные начальством места.

Работы избранных нами молодых докладывались на самых престижных международных конференциях, включая международные (ICM) и европейские (ECM) конгрессы, получали в жесткой борьбе известные премии, т. е. прошли ту настоящую конкуренцию, которая всегда была в нашей науке, а не ту «цыфирную», которую нам навязывают чиновники.

К сожалению, приходится отметить и невысокий уровень журналистского профессионализма, проявившийся в интервью. Вместо того чтобы задавать нелепые вопросы о числе публикаций А. Г. Кузнецова, можно было бы спросить о результатах тех, кого избрали. Скажем, работы А. А. Гайфуллина об изгибаемости многогранников, доказательство гипотезы о «кузнечных мехах», ее физический смысл так легко было бы объяснить совсем кратко. Тут и нужен-то простенький закон Бойля — Мариотта из школьного курса физики.

Говоря о всякой «цыфири», журналистское сообщество могло бы поинтересоваться исследованиями и других наук, например, психологии, социологии. Так, в англо-американской социологии давно существуют работы, в которых показывается вредность использования формальных численных показателей в вопросах, где реально присутствует человеческий фактор, играет роль психология человека (так называемые законы Гудхарта и Кэмпбелла, см. ссылки на эти исследования в моей статье в журнале «Сократ», http://socrat-online.ru/uploads/socrat-special-2016.pdf).

В условиях новой атаки на Российскую академию наук, по приемам напоминающей атаку лета и осени 2013 года, ваше издание, позиционирующее себя как объективное и независимое, не проявило, на мой взгляд, ни того, ни другого.

8 декабря 2016 года

А. Н. Паршин,
академик, зав. отделом Математического института им. В. А. Стеклова РАН

От редакции:

Академик Паршин зачем-то ломится в открытую дверь. Он распространил свое письмо urbi et orbi, похоже, одновременно с отсылкой его в редакцию. Обычно так делают, когда опасаются, что письмо не будет опубликовано. Были ли у Алексея Николаевича основания для таких опасений?

Алексей Николаевич пишет (и выделяет жирным шрифтом), что С. К. Смирнов был избран академиком. Тут происходит забавная подмена: результат голосования в секции математики Отделения математических наук, при котором С. К. Смирнов получил некоторое число голосов, объявляется итогом выборов, а то, что после этого «избрания» С. К. Смирнов не стал академиком, объявляется следствием несчастного стечения обстоятельств: болезни и занятости большого числа членов секции. Заметим однако, что эти обстоятельства не помешали избранию С. В. Кислякова, С. В. Матвеева, С. В. Конягина и Д. В. Трешева. Стало быть, эти достойные ученые получили при голосовании больше голосов, чем С. К. Смирнов. Вопрос о том, соглашаться ли в этой ситуации с диагнозом В. А. Васильева, остается тем самым открытым.

Алексей Николаевич посвящает большую часть своего открытого письма критике наукометрических показателей, но ровно такая же критика только что прозвучала в критикуемых им интервью с В. А. Васильевым и С. К. Смирновым. Вспомним, что первое называлось «Хиршемания и хиршефобия», а второе «Индекс Хирша в математике не аргумент», и в нем уже содержалась ссылка на тот самый перевод доклада Американского математического общества, который упоминает Алексей Николаевич, — только опубликованный на другом сайте. Его не устраивает и то, что журналист задал вопрос о цитируемости А. Г. Кузнецова и А. А. Гайфуллина, — видимо, ему не пришло в голову, что интервьюер повторяет расхожий довод как раз затем, чтобы получить на него квалифицированный ответ; ровно такой, какой дал В. А. Васильев. (Кстати, столь расстроивший Алексея Николаевича вопрос предварялся словами «критики удивляются, что…».)

Вообще, трудно удержаться от вывода, что Алексей Николаевич увидел в тексте несколько привычных раздражителей и ответил на них стандартным набором доводов, не прочитав сколько-нибудь внимательно сами интервью и не обратив внимания на их контекст. Что до намеков на участие «Троицкого варианта» в «атаке на Российскую академию наук», то оставим их на совести академика Паршина. Ничего нового в них нет: ровно такие намеки и упреки мы слышим все годы существования газеты.

Виктор Васильев, академик РАН, президент Московского математического общества:

Письмо А. Н. Паршина обратило мое внимание на то, что я, говоря о коллективном маразме в связи с голосованием по кандидатуре С. Смирнова, действительно должен был бы точнее высказать свою мысль: иначе многие читатели могут понять это замечание так же, как и Алексей Николаевич (чего мне не хотелось). Конечно, речь идет не об индивидуальных свойствах всех и каждого отдельного члена нашего сообщества, а именно о свойствах коллективных, то есть о способности всего этого коллектива как единого мыслящего организма принимать те или иные решения в условиях столкновения мнений и интересов.

История знает слишком много примеров, когда коллектив самобытных личностей ведет себя даже неразумнее самого неразумного из своих членов.

Мне нравятся многие из наших коллективных решений на этих выборах, однако жизнь устроена так, что судить наш коллектив будут не по степени оптимальности хороших коллективных решений, а по самым грубым ошибкам. Поэтому неспособность избежать таких ошибок — это еще и свидетельство коллективной (в том же смысле) потери чувства самосохранения. Впрочем, по моему мнению, выбирать Смирнова надо было не только из этих — и в первую очередь не из этих — соображений. И да, я благодарен газете «Троицкий Вариант» и Наталии Деминой за возможность высказаться и за точные острые вопросы.

Андрей Полянин, докт. физ.-мат.наук, профессор, профессор кафедры прикладной математики, Институт проблем механики им. А. Ю. Ишлинского РАН/ МГТУ им. Н. Э. Баумана:

Любые сравнения эффективности работы ученых на основе индексов цитируемости и Хирша должны проводиться весьма осторожно, не выходя за узкие пределы научных специальностей. Однако важно отметить, что если работы автора очень мало цитируются, то они:

(i) либо малоизвестны или малоинтересны и никому не нужны,

(ii) либо еще не востребованы (что бывает исключительно редко).

Другими словами: низкое цитирование является важным показателем деятельности ученого. При этом дополнительным отрицательным фактором является высокий уровень самоцитирования.

Отметим, что некоторые недавно избранные молодые члены-корреспонденты помимо небольшой цитируемости имеют очень высокий процент самоцитируемости (ниже приводятся данные РИНЦ от 13 ноября 2016 года):

Гайфуллин Александр Александрович:

• индекс Хирша без учета самоцитирований 1,
• число самоцитирований 72,6% (число цитирований соавторами 80,6%).

Моисеев Тихон Евгеньевич:

• индекс Хирша без учета самоцитирований 2,
• число самоцитирований 66,1% (число цитирований соавторами 79,7%).

Лукоянов Николай Юрьевич:

• индекс Хирша без учета самоцитирований 3,
• число самоцитирований 64,5% (число цитирований соавторами 88,7%).

Эти данные очень показательны (обратите внимание на необычайно высокий процент самоцитирований и цитирований соавторами) и приводят к выводу: работы этих ученых ориентированы на чрезвычайно узкий круг ученых и не слишком интересны для коллег. Приведенные цифры вряд ли могут свидетельствовать о выдающихся успехах этих ученых в развитии науки (хотя в высокой квалификации этих ученых сомнений нет).

Важно подчеркнуть, что наукометрические показатели при всей их условности являются более объективными показателями эффективности деятельности ученых, чем их должности, звания и ученые степени.

P. S. Более подробно свое мнение об использовании наукометрических параметров я высказывал ранее, см. Полянин А. Д. Недостатки индексов цитируемости и Хирша и использование других наукометрических показателей // Математическое моделирование и численные методы, 2014, № 1, c. 131-144 (http://mmcm.bmstu.ru/articles/2/, имеется также расширенный вариант этой статьи в Интернете: Полянин А. Д. Недостатки индексов цитируемости и Хирша. Индексы максимальной цитируемости, EqWorld — http://eqworld.ipmnet.ru/ru/info/sci-edu/Polyanin_IndexH_2014.html).

Ольга Виноградова, зав. лабораторией ИФХЭ им. А. Н. Фрумкина РАН, профессор физического факультета МГУ, докт. физ.-мат. наук, член Academia Europaea:

Критиками индекса Хирша являются в основном те, у кого он низкий и кому учет наукометрических показателей просто невыгоден, то есть далеко не все математики. Трудно согласиться с тем, что математики мало публикуются и плохо цитируются. Цитированию Колмогорова, Арнольда или Самарского позавидуют даже биологи. В наши дни математики публикуют много, часто с соавторами, и на их работы прекрасно ссылаются. Импакт-факторы ведущих математических журналов (JAMS, Acta Mathematica, Annals of Math. и др.) довольно высоки и даже выше, чем у лучших журналов в некоторых направлениях физики. Филдсовские лауреаты Тао, Окуньков, Виттен и многие другие известные математики имеют очень большие индексы Хирша. Индексы Хирша профессоров «чистой» математики на математическом факультете MIT, где работают мои соавторы, находятся в интервале от 20 до 40+, а у прикладных математиков MIT они, конечно, еще выше. Так что говорить о том, что показатели цитирования у математиков низкие и не коррелируют с их уровнем, неправильно. Конечно, Виктор Васильев абсолютно прав в том, что бывают работы, которые могут понять и использовать только специалисты, и что разные разделы математики цитируются по-разному. Но это верно и для любой другой области наук. Например, если физик-теоретик не ориентирован на экспериментаторов, то он, как правило, хуже цитируется. Однако верно и то, что решение действительно важных и актуальных проблем (математики и физики-теоретики тут не исключение) неизбежно приводит к высокому цитированию. Плохое же цитирование всегда означает узость тематики (круга общения) и/или неактуальность задачи, а нередко просто низкий уровень работ.

Выборы по Отделению математики стали для многих сенсацией со знаком «минус», так как «прокатили» многих кандидатов с высоким индексом Хирша, однако были массово избраны ученые с мизерным цитированием. В своем интервью Виктор Васильев приводит пример Александра Гайфуллина, который «решил три знаменитых задачи (точнее, три цикла задач), и все три — совершенная классика, причем на разные темы». Согласно Web of Science (11.12.2016) работы Гайфуллина (без учета самоцитирования) были процитированы всего 12 раз и только в 11 статьях. Его индекс Хирша без самоцитирования равен 1. В год избрания в РАН Гайфуллин не опубликовал ни одной статьи и не был процитирован вообще никем. Возникает естественный вопрос: как решили, что эти задачи, которые, судя по цитированию, оказались мало кому интересны, являются классикой? Этот наглядный пример говорит еще и о том, что распространенное среди российских математиков-академиков убеждение, что цитирование учитывать не стоит, таит в себе серьезную опасность. Оно демотивирует талантливых молодых математиков работать в активно развивающихся и наиболее важных областях, поощряя решение задач, интересных только крайне узкому кругу специалистов, а порой и совсем никому не нужных.

Вполне допускаю, что многие из низкоцитируемых победителей выборов в Отделении математики были действительно лучшими кандидатами по своей вакансии. Однако избрание в РАН большого количества ученых, научные достижения которых пока не подтверждены никакими объективными критериями (индекс Хирша, индекс цитирования, публикации в ведущих математических журналах), не способствует повышению ее репутации ни у нас в стране, ни в мире. К сожалению, такой результат был отчасти предопределен задолго до самих выборов, когда РАН выделила Отделению математики непропорционально большое количество вакансий, в том числе и много вакансий с ограничением возраста.

И последнее — об очередном неизбрании в РАН Станислава Смирнова, лауреата престижнейшей Филдсовской премии. В Советском Союзе эту премию получили Новиков, Маргулис и Дринфельд, из них членом АН СССР был избран только Новиков. Из граждан России медалистами Филдса стали Зельманов, Концевич, Воеводский, Перельман, Окуньков и Смирнов. Никто из них не является членом РАН, так что никакой сенсацией случай Смирнова, на мой взгляд, не стал.

Виктор Васильев, академик РАН, президент Московского математического общества:

Я ничего не могу сказать про Моисеева и Лукоянова, которые выбирались по секции прикладной математики и информатики.

Однако работы А. А. Гайфуллина (и свидетельства их профессионального признания) я знаю. Это знание убеждает в том, что, прежде чем применять к конкретным ситуациям и штучным исследователям библиометрические критерии (имеющие, как любые статистические методы, тем больше шансов не слишком уклониться от реальности, чем к большему массиву объектов они применяются), А. Д. Полянину стоило бы поинтересоваться содержательной стороной дела у специалистов. Что было совсем просто, поскольку с бывшим научным руководителем Гайфуллина, В. М. Бухштабером, он регулярно встречается в экспертном совете ВАК.

Очень малую часть хиршеносного слоя составляют исследователи, про которых легко сказать, что же им принадлежит в здании нашей науки. Про Гайфуллина это можно сказать уже трижды: существование вполне локальных комбинаторных формул для всех классов Понтрягина и явная такая формула для первого класса; эффективное решение проблемы Стинрода о реализации гомологий; доказательство многомерной гипотезы «кузнечных мехов». Если Хирш подсказывает вам, что все эти слова — какая-та ерунда и жульничество, в которых не стоит даже разбираться, то помочь тут трудно, ведь спорить с радикальным свидетелем Хирша почти столь же безнадежно, как пытаться логически переубедить последовательного берклеанца. Поэтому я предлагаю отдаться на суд времени, хорошо запомнив, кто что говорил, и обязательно вернуться к вопросу лет через шесть-восемь. Стало быть, запишем для истории: Андрей Полянин — вот как звали человека, в 2016 году атаковавшего А. А. Гайфуллина под библиометрическими знаменами.

Науке необходимы разные ученые: и те, чья работа сразу идет в массы, и покорители суровых высот, где пока что мало кто может встать рядом и пройти дальше, тем более что в некоторых случаях выше идти уже некуда. Первых надо любить, но их существование — не аргумент, чтобы не признавать вторых.

Истинная правда, что на индексы цитирования особенно часто злобятся ученые, у которых они существенно ниже уровня их признания (либо формального, выраженного в степенях и должностях, либо адекватного признания профессиональным сообществом — того самого «Гамбургского счета»). Точно так же неудивительно, когда ярыми поборниками этих индексов становятся те, у кого ситуация противоположная. Поэтому достаточно кисло к диктату этих индексов приходится относиться и тем, кто хорошо видит, что такое их несоответствие реальному уровню бывает, и иногда очень существенно.

И последнее замечание — в предвкушении возможной дискуссии (даже выходящее за рамки этой темы). Для соблюдения полемической гигиены давайте не забывать про кванторы. Делая утверждение о большом множестве (например, о математиках или об ученых вообще), тем более цитируя кого-то, давайте обязательно уточнять: «все» или «некоторые», или «иногда», или «как правило», или «в среднем» и т. п. Иначе очень легко вроде бы и не соврать, а смысл поменять радикально.

Евгений Асмолов, ст. науч. сотр. Лаборатории механики многофазных сред НИИ механики МГУ, докт. физ.-мат. наук, вед. науч. сотр. ЦАГИ им. проф. Н. Е. Жуковского:

В. А. Васильев описал возможные ужасные последствия учета библиометрических показателей, но действующая система выборов ужаснее. Сам автор признает, что «отделение математики почти что оккупировано тремя институтами, и прежде всего московской Стекловкой». То есть если вы не работаете в МИАНе, то вы «по определению» математик так себе. Приведенные примеры неизбранных как раз подтверждают это правило. И так во всех, особенно в небольших, отделениях. По факту, даже не институт ведь решает, кому быть академиком, а его директор. То есть важна договоренность всего трех директоров. В экономике это называется монополия и картельный сговор. Поэтому реально у нас не Академия Наук, а Академия Начальников Наук, их приближенных, любимых учеников и т. п.

Анатолий Вершик, гл. науч. сотр. Санкт-Петербургского отделения Математического института РАН:

О выборах в РАН я уже писал в ТрВ-Наука и считаю в целом их неприличными, но дело ведь в том, что выборы происходили в прежних советских традициях и по выцветшим советским правилам, и даже более советским, чем прежде. Потому и чиновных лиц столько. Им же плохо объяснили, и они с полным основанием думали, что всё как прежде. Поэтому недовольство этим выглядит лицемерным. Фортов тут ни при чем.

Заодно скажу, что я совершенно не согласен с замечанием, сделанным Аскольдом Иванчиком по этому поводу о том, что В. В. Путин мог критиковать выборы в Академию, в частности, и за неизбрание С. К. Смирнова и А. В. Кабанова. Кто его знает, но полагаю, что нет. У него совсем другие причины для мстительного недовольства Академией и выволочки В. Е. Фортову, а это замечание слишком комплиментарное.

Причина неизбрания этих ученых в том, что команды, разрешающей выбирать тех, кто имеет основную работу за рубежом, за все эти годы не было. А выбирать без высочайшего разрешения в нынешней Академии никто не рискнет. И уверен, что не будет пока такого разрешения, потому что, если его дать, то оно потянет за собой другие «опасные» для системы последствия. Мегагранты дать — пожалуйста, но не больше.

Александр Фрадков, зав. лабораторией «Управление сложными системами» Института проблем машиноведения РАН, сопредседатель Совета Общества научных работников:

Спасибо уважаемому мной А. Н. Паршину за разъяснение итогов выборов в Отделении математических наук. Но вот вторая часть письма с «наездом» на СМИ меня расстроила: перекладывание вины за болезни Академии на тех, кто о них пишет, не добавляет чести академикам. Да и к первой части письма есть вопросы. Так ли хороша «демократическая» процедура выборов, если коллективная болезнь 25% голосующих позволяет им не избирать тех, кого не хочется избирать? Не надо ли что-то подправить в этой консерватории? Обсудим в будущем году.