Недавно президент РАН сделал публичное признание [1] в том, в чем многие из нас не сомневались уже давно. «Коллеги, это прискорбно, но по числу мусорных публикаций Россия лидирует в мире», — сообщил г-н президент и обосновал печальный вывод низкой долей российских публикаций в журналах «первого квартиля» WoS. Дискутировал он с г-ном министром науки, ратовавшим на том же заседании за дальнейшее увеличение числа публикаций.
Можно ли о качестве научных публикаций судить по отнесению их к «квартилям»? Нет, нельзя. Все формальные показатели не без греха, но «квартили» особенно лукавы. Их используют якобы для того, чтобы учесть специфику разных научных направлений. Но направления эти определяют по классификатору Web of Science (WoS), неизменному на протяжении десятилетий и страдающему сильно разной подробностью в разных разделах. По сути, это классификатор журналов, многие из которых имеют крайне расплывчатые тематические границы. Абсурдно его использовать при оценке отдельных научных статей, и про все эти несуразности мы неоднократно писали ранее [2, 3], когда «квартили» еще не были в ходу. За последние годы накопилось много примеров неадекватно заниженной оценки работ, относящихся к узким и редким научным направлениям, поскольку в классификаторе WoS эти направления попадают в какие-то нижние уровни или вовсе отсутствуют. И тогда малые профильные журналы (иногда весьма качественные, но имеющие узкую группу читателей) попадают в одну группу с крупными журналами, ориентированными на гораздо бо́льшую научную аудиторию. «Квартиль» у них получается далеко не первый. Так можно уникальных специалистов списать в мусор, что, впрочем, для российских начальников дело привычное.
Однако с утверждением г-на президента о том, что мусора стало сильно больше, мы согласны. К его массовому производству прямо и повсеместно толкает система оценки людей, коллективов, проектов, а главное диссертаций. Действующие научные работники систематически, почти ежедневно, получают почтой коммерческие предложения приблизительно следующего рода: «поможем опубликовать в журнале, входящем в список ВАК <иногда — в Scopus>, любую чушь за ваши деньги». Именно этот нехитрый «бизнес» ведет к радикальному росту объема того мусора, о коем говорил г-н президент, а отвечает за его существование непосредственно ВАК (и Министерство науки и высшего образования, коему ВАК подчинен). «Элитная» часть этого мусорного потока производится значительным количеством российских журналов из числа недавно подключенных к WoS при помощи RSCI (Российский индекс научного цитирования) — об этом феномене, замеченном при обновлении списков цитирования [4], мы уже сообщали в заметке [5].
Разумеется, мусор следует убирать регулярно и аккуратно, и мы рады, что на этом ответственном участке работает мощная бригада «Диссернета». Однако мирового лидерства, о котором толковал г-н министр [1], от одной лишь уборки мусора не случится. Кто-то должен производить достойную научную продукцию, добывать жемчуг. Даже на замусоренной территории дееспособные научные коллективы всё еще умудряются это делать. Это не всегда замечают государственные фонды и министерство, поскольку крайне сомнительно качество того, что называется у них научной экспертизой (обсуждение этой темы можно найти, например, здесь [6]).
И мы считаем нужным говорить не столько о мусоре, сколько о жемчуге и его добытчиках.
Если нацпроект «Наука», о котором поминал г-н министр [1], рассматривать в традиционном понимании науки как деятельности для получения новых знаний, то главной задачей этого проекта надо считать поддержку всех специалистов, способных работать на «мировом уровне», и создание условий для того, чтобы они также и воспитывали новые научные кадры.
Решает ли эту задачу давно уже принятая правительством РФ стратегия «точечных» вливаний в виде мегагрантов [7] и крупных грантов РНФ [8]?
С сугубо управленческой точки зрения куда проще выбрать очень малую долю ученых, назначить их «самыми крупными», дать им относительно много денег, и… ждать результатов по развитию науки в РФ. В самом ли деле этот подход чем-то обоснован?
Мы предлагаем реалистичный способ первичной оценки ситуации, основанный на цитировании недавно опубликованных работ российских ученых. В этом качестве мы используем ниже семилетний показатель СI7 (см. комментарий на странице [4]). Это лучше «квартилей», если взять на себя труд разобраться в классификации науки и сравнивать в рамках действительно одних и тех же направлений. Ниже обсудим для примера некоторые сравнения только для трех очень крупных направлений, хотя «на будущее» у нас собран материал и для многих других научных направлений, в том числе малых и трудно поддающихся какой-либо статистической обработке.
Наша цель — на конкретных примерах выяснить, являются ли держатели крупнейших госгрантов наиболее продуктивными в РФ учеными.
Итак, примеры. Мы собрали данные по числу статей в WoS за последние 7 лет и их цитированию для 152 руководителей мегагрантов [7] и 167 сравнимых по объему финансирования проектов РНФ «Проведение исследований научными лабораториями мирового уровня…» [8]. Около 40% этих проектов можно уверенно отнести к материаловедению (mater-sci), физике конденсированного состояния (cond-mat) и молекулярной биологии (mol-bio), см. таблицу 1. Данные по зарубежным руководителям проектов сейчас не рассматриваются, так как мы обсуждаем здесь только российский научный ресурс.
Таблица 1. Общие сведения о числе крупных грантов по обсуждаемым направлениям
|
|
Mater-sci |
Cond-mat |
Mol-bio |
|
Число мегагрантов |
15 |
19 |
28 |
|
Руководители: — зарубежные — диаспора — работающие в РФ |
. 6 5 4 |
. 6 11 2 |
. 8 14 6 |
|
Число «больших» грантов РНФ |
13 |
19 |
37 |
|
Руководители: — зарубежные — диаспора — работающие в РФ |
. 0 0 13 |
. 1 1 17 |
. 0 2 35 |
|
Получавшие и «большой» грант РНФ, и мегагрант |
1 |
2 |
4 |
В качестве контрольных групп ученых мы рассматривали работающих в РФ специалистов тех же крупных направлений, имеющих наиболее высокое активное цитирование, но не получавших указанных выше крупных грантов. В «первой сотне» по CI7 держатели крупных грантов составляют очевидное меньшинство (таблица 2). Попытаемся понять, действительно ли остальные коллеги из «первой сотни» дают принципиально меньший вклад в количественные и качественные характеристики публикационной активности?
Таблица 2. «Топ-группы» работающих в РФ по СI7 (цитирование работ, опубликованных в последние 7 лет) — первая сотня
|
|
Mater-sci |
Cond-mat |
Mol-bio |
|
Число мегагрантов |
4 |
3 |
4 |
|
Число «больших» грантов РНФ <РНФ+мегагрант> |
9 <1> |
7 <1> |
17 <2> |
|
Остальные — контрольные группы |
88 |
91 |
81 |
Число реферируемых в WoS статей (таблица 3) как у держателей крупных грантов, так и в контрольных группах различается в очень широких пределах (иногда достигая 15 статей в год, что кажется уже превосходящим все пределы разумного). Две средние колонки таблицы 3 приводят численность авторов, имеющих более 70 или менее 70 публикаций за 7 лет по каждой из исследованных подгрупп. Как видно из таблицы 3, нет значимых различий между «особо финансируемыми» учеными и контрольными группами по всем трем изученным направлениям исследований.
Еще более нас сейчас интересует не количество публикаций, а их качество. Для очень приблизительной его оценки ниже мы сравниваем типичное среднее (т. е. среднее геометрическое) количество ссылок на работы авторов из каждой изучаемой группы. Выбор в пользу анализа типичного среднего значения вместо обычного среднего арифметического сделан нами для сглаживания эффектов от единичных сильных флуктуаций (в малых подгруппах совсем сгладить не удается). Конкретно мы находили отношение числа ссылок на работы последних 7 лет (CI7) к общему числу (M7) этих статей, опубликованных каждым из авторов, входящих в исследуемые подгруппы. Затем вычисляли среднее геометрическое значение Q отношений q=CI7/M7 для каждой из групп: Q = (Πi=1…N qi)1/N. Значения параметра Q для каждой из групп приведены в правой колонке таблицы 3.
Разумеется, выбранный нами параметр Q характеризует не собственно качество научных публикаций, а скорее их востребованность на кратком временном интервале, однако некоторая корреляция между этими параметрами, несомненно, существует. Чтобы выяснить, сколько тут жемчуга, а сколько более рутинной продукции, требуется экспертный анализ. Но на этом предварительном этапе мы не обнаруживаем существенных различий между «финансово выделенными» учеными и гораздо более широкой «контрольной группой».
Кстати, в контрольной группе по cond-mat имеется 7 бывших лауреатов фонда «Династия», и еще двое таких лауреатов в контрольной группе по mater-sci. Их «Династия» в последние годы, к сожалению, уже никак не могла поддержать — а научную продукцию они, однако, всё еще производят.
Таблица 3. Число статей, реферируемых WoS, за последние 7 лет, и среднее цитирование одной статьи за последние 7 лет. Сравнение для держателей крупных грантов и «топ-групп» работающих в РФ, см. пояснения в тексте
|
|
>70 |
≤70 |
Q |
|
Мегагранты, диаспора Mater-sci (5) Cond-mat (11) Mol-bio (14) |
. 5 8 6 |
. . 3 8 |
. 25* 14 16 |
|
Мегагранты, работающие в РФ Mater-sci (4) Cond-mat (2) Mol-bio (6) |
. 4 1 2 |
. . 1 4 |
. 13* 9 12,5 |
|
«Большие» гранты РНФ Mater-sci (13) Cond-mat (18) Mol-bio (37) |
. 10 14 22 |
. 3 4 15 |
. 8,5 7 7,5 |
|
Топ-группы работающих в РФ Mater-sci (88) Cond-mat (91) Mol-bio (81) |
. 48 55 31 |
. 40 36 50 |
. 10 11,5 16 |
*завышено из-за единичных флуктуаций
Выводы из нашего небольшого исследования таковы.
В стране имеется как минимум в 5–10 раз больше производителей заметного количества вовсе не мусорной научной продукции, чем держателей крупных грантов (на самом деле их, конечно, еще больше — как в трех выбранных для примера крупных областях, так и в других).
Пока бессмысленно ждать от начальства изучения вопроса, каков реальный кадровый ресурс российской науки. Нужно в инициативном порядке, используя грамотную классификацию научных областей, анализировать наукометрические данные и формулировать задачи для экспертной оценки.
Именно поэтому в рамках проекта «Корпус экспертов» мы уже двенадцатый год продолжаем расширять списки цитирования [4], обновлять данные и бороться за максимально точное определение специализаций работающих в науке коллег. Смотрите, пожалуйста, внимательно эти списки, они выводятся сейчас по кодам научного рубрикатора. Будем признательны за исправления и комментарии. Можно писать через личные окна (открываются нажатием на фамилию) или по адресу [email protected].
В ближайшее время мы планируем серию публикаций по данным, извлекаемым из базы «Корпуса экспертов». В первую очередь попытаемся показать, какие именно научные области еще имеют в РФ достойное представительство и где именно (города, институты) они локализованы.
Михаил Фейгельман, Галина Цирлина
Прошел почти месяц с момента обнаружения ошибки в показателях Г.Я.Перельмана (очевидной для любого математика или человека, следящей за событиями в математике), однако она так и не исправлена. Причем это ошибка именно в показателе CI-7, который заявляется авторами как лучший, чтобы по нему решать, кому давать крупные гранты. Серьезно? Очевидно, что подобные ошибки могут быть в отношении любых авторов, у кого есть однофамильцы. Некритичное доверие машине и цифровое крючкотворство.
Поскольку эти ошибки уже в данных WoS, то нужно полагать, что Вы обращаетесь к разработчикам этой базы данных? Мой опыт говорит о том, что из интересных мне баз данных WoS, Scopus, ZMath и MathSciNet, как раз от WoS труднее всего добиться исправления данных. С начала года переписываюсь с более дружественным Scopusoм, но пока не добился, чтобы несколько профилей, соответствующих моему научному руководителю, объединили в один.
Такие мелкие ошибки, как несколько лишних цитирований Перельмана, присутствуют во всех базах данных в огромном количестве. Полагаю, что при использовании наукометрии всегда нужно предполагать отклонение от истинных данных на несколько процентов.
За те данные, которые показывает WoS, несет ответственность WoS, но за те данные, которые показывает «Корпус экспертов» на своем сайте, должен нести ответственность он сам. По-моему, если они декларируют, что занимаются какой-то осмысленной деятельностью, а не тупо заимствуют чужие цифры, они должны выявлять и исправлять ошибки, в том числе, ошибки из WoS, а не упорствовать в них, как государственные чиновники. Тем более, зная, что эти ошибки могут повлиять на чьи-то судьбы. Иначе это слишком напоминает «Дарью Тимурович» из базы ФМС (если вы не знакомы с этой историей, то например, вот ссылка — https://echo.msk.ru/blog/corruption/1726682-echo/ ). Вы говорите — отклонение на несколько процентов, но кто их считал? Три несуществующих цитирования несуществующих статей Перельмана — это сколько процентов от нуля? И хорошо ли будет, если на основании «мелких ошибок» кому-то дадут грант, а кому-то не дадут? По-моему, ничего хорошего.
1. Данные, имеющие некоторую статистическую погрешность, часто используются для принятия решений в гораздо более важных случаях чем подбор экспертов. Тем более, что традиционный способ определения экспертов — методом тыка какого-нибудь руководителя, более подвержен не только случайным, но и систематическим ошибкам.
2. Если «корпус экспертов» получит государственный статус и на его поддержание будут расходоваться бюджетные средства, то будет естественно требовать точности от ответственных за него товарищей и даже составления запросов в исходные базы данных для исправления их ошибок. Пока это только «общественная инициатива», требовать большей точности чем у коммерческой организации, продающий подписку на WoS, представляется преждевременным.
Искать ошибки может быть тяжело, но отказываться от исправления уже найденных ошибок, я считаю, большой грех для любой организации, независимо от ее статуса. Тем более для организации, пытающейся получить признание в обществе, и не очень успешно.
Что касается вашего пункта 2 — то это самое плохое, что вообще может произойти по данному поводу. И жаль, что вы считаете независимость от государства оправданием плохого качества работы.
Хорошо, был неправ, сформулирую по-другому. Если «корпус экспертов» превратится в коммерческий продукт, то такие претензии станут вполне уместны.
Это можно было бы приветствовать, но я не вижу стремления превратиться в коммерческий продукт. Мне кажется, в таком стремлении надо стараться быть лучше других и требовать от себя больше, чем требуют другие, чтобы достичь успеха. И по-другому относиться к людям. А пока, если уж выбирать, больше похоже на стремление превратиться в очередной государственный орган.
ответ про недавнее цитирование Перельмана очень прост — некоторые его работы воспроизвели («перепечатали») на американском сетевом ресурсе, и на этот ресурс возникли скрытые ссылки; желающие все это могут самостоятельно проверить, если умеют пользоваться соответствующими опциями WoS — это не ошибка WoS!! — это отраженная им реальность, люди же цитируют то, что нашли, и это их право, и тут точно ничего не надо исправлять (WoS в данном случае даже указывает ссылки на источник скрытого цитирования)
ситуация совершенно ничем не отличается от цитирования, например, посмертных переизданий трудов некоторых ученых через 10-20 и даже 30 лет после их кончины (но только пусть пожалуйста Г. Перельман будет здоров и благополучен, несмотря на такую аналогию…) — «запоздалого» цитирования удостаиваются очень немногие, это просто признак признания
в чем смысл этого базара о Перельмане — никак не могу понять… чай не совковый академик, а содержательный автор, ну вот такова судьба его трудов, объективно
что касается ошибок WoS (они конечно бывают), добиться их исправления можно, хотя то длительный процесс; однако ошибки эти не так часты, как в мусорном Scopus (он особенно дик именно в профилях)
Открываем WoS Core Collection , Поиск по пристатейной библиографии. Вводим автор: Perelman G, процитированный год: 2012-2019. Помимо ссылок на работы других авторов с именем Perelman G и нескольких ссылок на препринты Григория Перельмана с ошибочной датой, там имеются две ссылки из статьи Джона Лотта, в которых действительно указан сетевой ресурс.
Этот ресурс — личная страница Антона Петрунина https://anton-petrunin.github.io/papers/
где он разместил две рукописи Григория Перельмана начала 90х годов
https://anton-petrunin.github.io/papers/alexandrov/perelmanASWCBFB2+.pdf
https://anton-petrunin.github.io/papers/alexandrov/Cstructure.pdf
которые видимо не были опубликованы. Первая из них — дополнение к известной статье в УМН
http://www.mathnet.ru/links/eab0c8ca8ab5e9dbfffdb7638a0a6385/rm4489.pdf
У нас в последней загрузке другие ссылки — американские, но Cited Reference Search переформатируется время от времени. Явление такого цитирования достаточно редкое и относится всегда к чем-то выдающимся авторам, большинство из которых уже, увы, в мемориальном списке.
Да, в ссылке в WoS указан другой URL, видимо принадлежащий университету где работает Петрунин, но на нём просто переадресация на его личную страницу.
Непонятно, по какому праву Петрунин вообще это сделал. И без каких-либо комментариев. Есть ли у него разрешение от самого Перельмана, не факт.
А как быть с Галиной Перельман. упомянутой В.П.?
Смысл в том, что вы сначала рекламируете CI-7 как хороший показатель текущей работы ученого, по которому стоит давать гранты, а потом оказывается, что его можно набрать на однофамильцах и перепечатках, так что даже человек, который уже 15 лет не работает в науке, может обогнать многих действующих математиков.
Любой показатель имеет свою область применения. Наукометрия вообще для середнячков. Перельман же относится … к лиге чемпионов. То есть входит в круг людей, имеющих признанные в мире выдающиеся достижения. Сравнивать его с другими по наукометрическим показателям совершенно бессмысленно.
По части многих других показателей согласен, но не по CI-7. Если вместо написания новых статей считаются перепечатки старых (и насколько это вообще законно?), то их кто угодно может организовать, для этого не надо быть чемпионом. С Перельманом просто наиболее очевидный пример, как врет WoS. Мы не знаем, насколько сильно она врет в других случаях и в целом. Вот такое исследование стоило бы провести, а не исследования на основе данных WoS, постулирующие их как истину, с далеко идущими выводами.
Причем он даже не прилагал к этому усилий, это произошло случайно, а что тут можно устроить сознательно (перепечатками и др.), стоило бы подумать.