А WoS и ныне там, или Квартильный вопрос

Проходимцам станет легче набрать публикационные баллы, в то время как качественные научные работы останутся недооцененными? Анна Абалкина, Андрей Заякин, Андрей Ростовцев и вольное сетевое сообщество «Диссернет» рассказывают о том, почему, на их взгляд, оценка эффективности научной работы сделана в интересах нечестных ученых. С ними дискутируют Аскольд Иванчик и Ольга Богомолова.

Приставленный к российской науке чиновник нашел в свое время простое решение задачи повышения эффективности работы ученых. Вместо того, чтобы дать побольше денег и не мешать профессионалам, чиновник решил измерять результаты научной деятельности. И добро бы это делалось по уму — с независимой экспертной оценкой результатов, с учетом их востребованности мировой наукой. К сожалению, чиновник до такой тонкой мысли додуматься не может. В итоге чиновник решает мерять эффективность ученого валовым «урожаем» научных статей.

В майских указах президента и государственной программе РФ «Развитие науки и технологий» в основу критериев было положено увеличение доли публикаций российских ученых в международной базе цитирования Web of Science и число публикаций в журналах наукометрической базы Scopus. Не предполагалось учитывать ни специфику научной дисциплины (где-то принято писать больше статей, где-то — монографий), ни характер коллабораций (в экспериментальной физике высоких энергий нормальны коллаборации в сотни человек; в гуманитарных науках более типичны индивидуальные статьи), ни уровень журнала, в котором опубликованы работы.

В материале «Новой газеты» «Пиши, Емеля» [1] подробно рассказано, как бездумная наукометрия привела к возникновению рынка фальшивых публикаций — через госзакупки заказывались статьи по количеству печатной площади, квадратным метрами. Публиковались эти статьи в так называемых «хищных» журналах — то есть изданиях, которые публикуют тексты за плату и без должного рецензирования. Эти журналы издаются, как правило, в развивающихся странах, попадают в международные базы цитирования и тем самым извлекают выгоду, публикуя множество некачественных статей. В итоге казенные деньги тратились на издание статей с плагиатом и научным подлогом.

Александр Герцен писал в «Былом и думах» по тому же поводу: «Подряды статей делаются в министерствах так, как подряды на дрова и свечи, только без переторжки; недостатка в общих отчетах, выдуманных цифрах и фантастических выводах не бывает». Банальным будет замечание, что в России за два века ничего не поменялось.

Однобокую наукометрию неоднократно ругали в профессиональных кругах. Ее пытались модифицировать — скажем, вводить коэффициенты, учитывающие уровень научного журнала. Такую шкалу удобнее всего привязать к так называемым «квартилям» базы Web of Science. Лучшие журналы из этой базы разделены по научным направлениям на 3 научных индекса (списка): SCIE, SSCI, AHCI (соответственно: естественные, социальные и гуманитарные), а журналы по естественным и социальным наукам также разделены на 4 набора — «квартиля» в зависимости от того, насколько активно статьи в этих журналах цитируются другими учеными. Журналы по гуманитарным наукам (они входят в индекс AHCI) не ранжируются по квартилям.

Не самые сильные журналы не получают никакого квартиля. Связано это иногда с их недавним существованием на рынке и отсутствием сложившейся репутации — такие журналы входят, в частности, в индекс Emerging Sources Citation Index (ESCI), покрывающий издания в основном из развивающихся стран. Помимо вышеперечисленных, Web of Science создает отдельные индексы для национальных журналов различных стран, в частности, такие индексы были введены для Росcии (RSCI), Китая, Южной Кореи и ряда других стран. Для этих журналов квартиль также не рассчитывается.

В шкале Минобрнауки, по которой до недавнего времени предлагалось оценивать эффективность работы ученых, публикация в журнале I квартиля наукометрической базы Web of Science (WoS) оценивалась в 19 раз выше, чем в журнале IV квартиля (т. е. квартиле «худших» журналов, «худшие» здесь в кавычках, так как издания, которым Web of Science присваивает хоть какой-то квартиль, — это уже, повторим, неплохие журналы). Россия представлена среди качественных журналов Web of Science, которым присвоен какой-либо квартиль, около 150 журналами из примерно 9 тысяч.

Этой спущенной из Минобрнауки шкалой, которая дает хорошие баллы только за журналы высокого квартиля, возмущались представители гуманитарных и социальных наук. Лишь единицы отечественных журналов по этим направлениям имеют присвоенные Web of Science квартили. Почему это происходит?

В социальных науках Россия значительно отстает от мирового уровня, и, как показывает многолетний анализ Диссернета, именно социальные науки лидируют по количеству диссертаций и статей с плагиатом в России. Помимо этого, в редколлегии целого ряда российских журналов присутствуют представители диссеродельного бизнеса. На сегодняшний день всего три российских журнала смогли пробиться в индекс социальных наук и получить в нем квартили: два журнала по психологии и один — по социологии.

Что же касается журналов гуманитарной направленности (история, филология, философия), то таких журналов, которые входят в соответствующий индекс Arts & Humanities Citation Index, около десяти. Но к нему не привязаны квартили и никогда не будут привязаны — не из-за качества журнала, а по определению тематики базы.

Поэтому возмущение гуманитариев и людей из общественных наук имеет разную природу: одних действительно дискриминировала система, которая не была предназначена для оценки гуманитарных дисциплин, другие так угробили свое поле деятельности, что России нечего предъявить международному научному сообществу. В итоге ни те, ни другие не могут набрать баллов в «квартильных» журналах.

На прошлой неделе эта ситуация наконец-то изменилась. 23 апреля 2020 года на онлайн-заседании рабочей группы с участием Минобрнауки, РАН и других организаций были приняты новые критерии оценки публикации ученых. Для гуманитарных и общественных наук была введена отдельная шкала баллов, более плоская в отличие от остальных направлений. Проиллюстрируем на примере оценки журналов (мы не будем рассматривать оценку монографий).

Если раньше от «общественников» и гуманитариев требовали недосягаемых высот — попадать в квартильные журналы, то теперь практически за любые статьи они получают по 3 балла, включая статьи в иностранных «хищных журналах» (их надо искать в строчке «WoS без импакт-фактора» или Scopus). То есть 7 раз заплатив по 500 долл. за сплагиаченную статью, переведенную гуглопереводчиком, можно получить балл лучший, чем биолог или физик получит за претендующую на уровень мирового открытия работу в Nature (см. табл. 1).

Таблица 1. Оценка комплексного балла публикационной результативности

В отличие от оценки публикаций ученых естественнонаучного направления, где баллы пропорциональны научному весу журнала, в гуманитарных и общественных науках планируется ввести плоскую шкалу оценки научных публикаций, независимо от квартиля журнала и базы цитирования, к которой журнал принадлежит. Так, публикация в I квартиле WoS, куда входят самые высокоцитируемые и сильные иностранные журналы, приравнивается к статье в каком-нибудь венесуэльском журнале из Scopus, который за 500 долл. публикует тексты, переведенные гуглопереводчиком. И даже более того, три короткие статьи в журналах ВАК, могут быть приравнены к статье в Science, где также публикуются гуманитарии и «общественники».

Итого — увы, в гуманитарных науках нет возможности автоматического выделения «хороших» и «плохих» журналов. В социальных науках такие способы в принципе есть, но многим нашим ученым сложно попасть в «хорошие».

Отметим, что для естественников балл за статью в ВАКовском журнале, не входящем в WoS, оценен в принципе разумно — мы знаем, что механизм формирования списка ВАК в значительной степени коррупционен и, строго говоря, публикации в нем надо было бы оценивать сильно ближе к 0, чем к 1. Некоторые из авторов настоящей статьи многократно получали свидетельства о том неприличном напоре, с которым руководство ВАК продавливало через Президиум ВАК решения о внесении в этот список явно негодных журналов, руководимых представителями диссеродельных фабрик и их покровителями в экспертных советах.

Новая шкала комплексного балла публикационной результативности, к сожалению, неадекватно учитывает реальный вклад сильных ученых общественного или гуманитарного направлений и открывает множество возможностей для проходимцев от науки. Так, недобросовестные ученые могут беспрепятственно публиковаться в журналах-«хищниках», которые принимают статьи без должного рецензирования. Журналы в свою очередь берут плату за публикацию.

Такие иностранные журналы-«хищники», как правило, индексируются в Scopus и базе ESCI WoS. На сегодняшний день существует множество компаний-посредников, которые не только помогут разместить статью в таком журнале-«хищнике», но и продать соавторство в уже готовой статье. Это достаточно выгодный бизнес как для журналов и компаний-посредников, так и российских ученых, которые могут получать соответствующие надбавки за публикации в журналах, индексируемых в международных базах данных.

Проиллюстрируем применение данного инструмента оценки на нескольких примерах (см. табл. 2).

Таблица 2. Количество публикаций в журналах, индексируемых в Scopus

В таблице сравниваются входящие в базу данных Scopus журналы, на которые приходится максимум совокупной многолетней публикационной активности каждого из двух институтов РАН: Института проблем рынка (ИПР) и Центрального экономико-математического института (ЦЭМИ). Если сотрудники ИПР РАН в основном публикуются в сборниках конференций, а также «хищных» журналах (например, International Journal Of Civil Engineering And Technology), то сотрудники ЦЭМИ РАН выбирают журналы значительно более высокого научного уровня.

Однако в соответствии с новой методикой публикациям двух институтов будут присваиваться одинаковые баллы за каждую статью, несмотря на очевидный разрыв в уровне журналов. Это не будет стимулировать публикации в более престижных изданиях, с одной стороны, а также будет способствовать перераспределению бюджетных денег в сторону недобросовестных практик — с другой.

Другой пример касается образовательных организаций. В таблице 3 сравниваются публикации сотрудников Казанского федерального университета (КФУ) и Московского государственного университета (МГУ) в области социальных и гуманитарных наук по 12 журналам, лидирующим в числе изданий, которые выбирают сотрудники данных университетов для публикации.

Таблица 3. Оценка публикаций в журналах, индексируемых в WoS

Казанский федеральный университет (КФУ) известен массовой закупкой «слотов», т. е. мест для публикаций в «мусорных» журналах. Анализ журналов по гуманитарным и социальным наукам, в которых публикуются сотрудники КФУ, показывает, что они в основном «хищные». В данных журналах содержится множество недобросовестных публикаций российских авторов. Такие журналы в основном зарегистрированы в Латинской Америке и Турции.

Заметим, что в данном списке нет ни одного российского журнала. В отличие от КФУ сотрудники МГУ публикуются в основном в российских журналах, которые индексируются в RSCI или SSCI и которые, несомненно, выступают журналами с более высокой научной репутацией. Однако оцениваться такие публикации будут одинаково. Этот пример красноречиво показывает, к чему может привести создание финансовых стимулов за публикации низкого качества в низкосортных журналах.

Именно социальные и гуманитарные науки являются лидерами по количеству недобросовестных диссертаций и статей в России. Причем это характерно и для институтов РАН. По нашим даже самым скромным оценкам, число публикаций российских авторов в иностранных «мусорных» журналах (не считая сборников конференций) оценивается примерно в 5000 статей в год. Равная оценка журналов разного научного потенциала дает преимущество научным проходимцам и не создает стимула публиковаться в сильных журналах.

Распространение журналов-«хищ­ников» в журнальных базах требует вводить более специфические фильтры для оценки публикаций российских ученых. То есть помимо дифференцированной балльной оценки для социальных и гуманитарных наук следует вводить нулевой балл для публикаций в «мусорных» журналах и таким образом ликвидировать стимулы в них публиковаться.

Коль скоро состояние науки в стране не позволяет подключить широкое экспертное сообщество к формированию профессиональной оценки публикационной активности, то очевидна необходимость «фильтра» поверх международных научных баз данных, чтобы исключить возможность массовой закупки баллов для «Комплексного балла публикационной результативности» в иностранных и российских хищных журналах.

1. «Пиши, Емеля» // «Новая газета», № 45 от 24 апреля 2019 года.
   

↑

«Лекарство не должно быть хуже болезни»

С просьбой прокомментировать данную статью мы обратились к докт. ист. наук, члену-корреспонденту РАН Аскольду Иванчику. Публикуем его отзыв.

Я не могу согласиться с тем, что ситуация с оценкой публикационной активности в гуманитарных науках в новом варианте методики, предлагаемой Минобрнауки, ухудшилась по сравнению с прежним. Наоборот, если прежняя система для гуманитарных наук не подходила совершенно, то новая вполне может использоваться. Авторы статьи сами пишут, что гуманитарным журналам в WoS квартили не присваиваются в принципе и, соответственно, с точки зрения этой базы все они равны между собой. Поэтому, если опираться на эту базу, использование плоской шкалы неизбежно.

Scopus ранжирует гуманитарные журналы по квартилям, и, на мой взгляд, эти данные можно было бы учитывать. Однако этой базе, насколько я понимаю, не доверяют представители естественных наук, что мешает использовать ее наравне или вместо WoS. Впрочем, и тут есть свои сложности, прежде всего нестабильность ранжирования по Scopus: некоторые журналы могут за год переместиться из третьего квартиля в первый и наоборот.

В статье ничего не говорится о другом важном отличии нового варианта системы оценки от старого. В старом практически игнорировались монографии, главный для гуманитарных наук вид публикаций: монография ценилась в 20 раз меньше, чем любая статья в первом квартиле WoS, что совершенно абсурдно. В новом же предлагается относительно адекватная их оценка (один лист приравнивается к одной статье). Правда, вопрос о том, как отделить автоматически монографию хорошего уровня от псевдонаучной, не решен, но он, на мой взгляд, и не имеет убедительного решения. Предложенный вариант экспертной оценки монографий силами РАН представляется единственно возможным в нынешней ситуации. Как бы то ни было, адекватная оценка именно монографий жизненно важна для гуманитарных наук.

Существенным недостатком этой статьи, на мой взгляд, является то, что в ней постоянно смешиваются гуманитарные и социальные науки. Это, к сожалению, типично и для научных чиновников, и для ученых, представляющих точные науки. В то же время ситуация в них совершенно разная, что находит отражение и в разном отношении к ним составителей WoS. Если для гуманитарных журналов квартили не рассчитываются в принципе, то для представляющих общественные науки это делается так же, как и для журналов по естественным наукам.

Во время моей работы в Совете по науке при прежнем Минобрнауки, который, к сожалению, так и не был воссоздан при новом министерстве, его члены, представлявшие гуманитарные и социальные науки, постоянно боролись против этого смешения.

В частности, коллеги, представлявшие социальные науки, замечали, что с точки зрения публикационной активности и ее оценки социальные науки гораздо ближе к естественным, чем к гуманитарным, и для них следует использовать те же методы, что и для естественных. Эта позиция нашла отражение и в документе об особенностях оценки научной работы в гуманитарных науках, принятом Советом и опубликованном на его сайте [1]: в нем специально оговорено, о каких дисциплинах идет речь, и социальные науки, по настоянию их представителей, в этот список включены не были. Не будучи специалистом в области социальных наук, не берусь судить о том, насколько такой взгляд является общепринятым, но приводившиеся тогда аргументы мне показались вполне убедительными.

Главным возражением авторов статьи против новой методики является присутствие в «нижних» строках WoS и Scopus «хищнических» журналов, в которых за деньги публикуются жульнические статьи: плоская шкала не позволяет их автоматически отличать от журналов «верхних» строк рейтинга, где таких журналов нет. Но в действительности не позволяет их различать не плоская шкала, а сами особенности учета в WoS: для гуманитарных журналов в этой базе никаких верхних и нижних строк нет, так что плоская шкала просто отражает эту особенность.

Это возражение, впрочем, не относится к социальным наукам, для которых учет квартилей в WoS, возможно, уместен. Кроме того, само наличие «хищнических» журналов в базах WoS и Scopus, пусть и на нижних строках, должно быть большой проблемой для этих баз, и именно они должны заниматься очищением своих данных от них. Если этого не происходит, единственный выход — отказаться от их использования как дающих недостоверную информацию, по крайней мере для гуманитарных наук. Замечу все же, что число гуманитарных журналов низкого уровня, попадающих в WoS и Scopus, не так уж велико (хотя они, безусловно, есть), во всяком случае по сравнению с теми, что включены в список ВАК. Разница в учете журналов из WoS и Scopus, с одной стороны, и из списка ВАК — с другой, в новом варианте методики сохранена, и это правильно.

В заключение скажу еще, что никакие меры по борьбе с жуликами не должны делать невыносимой жизнь честных ученых — в противном случае лекарство становится хуже болезни. А первый вариант обсуждаемой методики ставил гуманитарных ученых именно в такое невыносимое положение. Поэтому новый вариант, которого удалось добиться, насколько я знаю, главным образом усилиями Историко-филологического отделения РАН, представляет собой безусловный прогресс. Вопрос же о том, насколько новая методика хороша для оценки социальных наук, лучше прокомментируют специалисты в этой области, каковым я не являюсь.

1. sovet-po-nauke.ru/sites/sovet-po-nauke.ru/files/data/Declaration_hum_31_03_2016.pdf

↑

«Наукометрия — лишь инструмент, а не универсальный критерий»

С просьбой прокомментировать данную статью мы обратились к советнику вице-президента РАН, члену рабочей группы по установлению единых требований к порядку формирования и утверждения госзадания Минобрнауки России Ольге Богомоловой.

Конечно, наукометрия — это всего лишь инструмент, а не универсальный критерий. Да, практически любой инструмент может быть использован во зло и не по назначению, но это не значит, что им в принципе не надо пользоваться.

Независимая экспертная оценка результатов научной деятельности — это очень хорошо, но требует значительных временных и финансовых ресурсов. А востребованность наукой — как отечественной, так и мировой — практически невозможно оценить на коротком промежутке времени. Использование наукометрии и, в частности, грубого определения качества научной статьи по уровню цитируемости журнала, в котором она опубликована, перекладывает часть нагрузки с плеч организации, вынужденной оценивать результаты (в данном случае — Минобрнауки), на плечи редколлегий журналов и рецензентов статей.

Дело не в том, что цитирование — абсолютный признак качества (это не так), а в том, что высокоимпактные журналы в среднем имеют больший выбор, что печатать. Если статья была отобрана из множества поданных, прошла рецензирование и была опубликована в хорошем журнале, можно предположить, что она хорошая. Бывают исключения, но на больших масштабах это работает неплохо.

Тот самый «приставленный к науке чиновник» существует в рамках нашего государства, с его законами, государственными программами, указами Президента и пр., а также — с прописанными в этих документах требованиями к отчетам и срокам их подачи (в частности — за финансирование в рамках государственного задания).

Методика, обсуждающаяся в статье, относится к расчету «комплексного балла публикационной результативности» (КБПР) научных организаций, качественного показателя отчета по государственному заданию. Речь идет о том, как считать плановый показатель, и о том, как научным институтам его потом выполнять. Рассчитывается он в любом случае по данным прошлого года (прошлых лет), а разница в балльной «стоимости» разных типов публикаций призвана не столько отразить реальную разницу между ними, сколько склонить чашу весов при выборе между количеством и качеством публикаций в сторону качества. Так, по крайней мере, в естественных науках, опубликовать статью в первом квартиле значительно сложнее, чем в четвертом — как правило, для этого нужно больше времени, больше экспериментов, больше материалов, больше методов, больше соавторов, владеющих этими методами. Поэтому если есть некий результат и стои́т выбор — публиковать его сейчас и в журнале пониже квартилем или еще обдумать, доработать и отправить в журнал повыше квартилем — большие баллы за публикацию в высококвартильном журнале, по логике, должны стимулировать выбор в пользу «доработать».

Разница между абсолютными значениями количества баллов, присваиваемых публикациям того или иного типа для «естественников» и «гуманитариев», не имеет значения, потому что при расчете плановых значений КБПР институтов учитываются средние показатели по области науки. То есть химические институты сравниваются с химическими, а исторические с историческими, никогда и никто не сравнивает напрямую биологов и филологов.

Что касается «хищных» журналов, конечно, проблема недобросовестных изданий, попадающих в международные базы данных стоит очень остро, и ее необходимо решать. Конечно, было бы хорошо их отфильтровать, но это большая и сложная задача, требующая усилий множества людей. Будем надеяться, что это удастся сделать.

Что же касается вузов — в этом году формула расчета КБПР их не касается, а к следующему, будем надеяться, она будет доработана с учетом их специфики и уже накопленного опыта.