Недавно президент РАН сделал публичное признание [1] в том, в чем многие из нас не сомневались уже давно. «Коллеги, это прискорбно, но по числу мусорных публикаций Россия лидирует в мире», — сообщил г-н президент и обосновал печальный вывод низкой долей российских публикаций в журналах «первого квартиля» WoS. Дискутировал он с г-ном министром науки, ратовавшим на том же заседании за дальнейшее увеличение числа публикаций.
Можно ли о качестве научных публикаций судить по отнесению их к «квартилям»? Нет, нельзя. Все формальные показатели не без греха, но «квартили» особенно лукавы. Их используют якобы для того, чтобы учесть специфику разных научных направлений. Но направления эти определяют по классификатору Web of Science (WoS), неизменному на протяжении десятилетий и страдающему сильно разной подробностью в разных разделах. По сути, это классификатор журналов, многие из которых имеют крайне расплывчатые тематические границы. Абсурдно его использовать при оценке отдельных научных статей, и про все эти несуразности мы неоднократно писали ранее [2, 3], когда «квартили» еще не были в ходу. За последние годы накопилось много примеров неадекватно заниженной оценки работ, относящихся к узким и редким научным направлениям, поскольку в классификаторе WoS эти направления попадают в какие-то нижние уровни или вовсе отсутствуют. И тогда малые профильные журналы (иногда весьма качественные, но имеющие узкую группу читателей) попадают в одну группу с крупными журналами, ориентированными на гораздо бо́льшую научную аудиторию. «Квартиль» у них получается далеко не первый. Так можно уникальных специалистов списать в мусор, что, впрочем, для российских начальников дело привычное.
Однако с утверждением г-на президента о том, что мусора стало сильно больше, мы согласны. К его массовому производству прямо и повсеместно толкает система оценки людей, коллективов, проектов, а главное диссертаций. Действующие научные работники систематически, почти ежедневно, получают почтой коммерческие предложения приблизительно следующего рода: «поможем опубликовать в журнале, входящем в список ВАК <иногда — в Scopus>, любую чушь за ваши деньги». Именно этот нехитрый «бизнес» ведет к радикальному росту объема того мусора, о коем говорил г-н президент, а отвечает за его существование непосредственно ВАК (и Министерство науки и высшего образования, коему ВАК подчинен). «Элитная» часть этого мусорного потока производится значительным количеством российских журналов из числа недавно подключенных к WoS при помощи RSCI (Российский индекс научного цитирования) — об этом феномене, замеченном при обновлении списков цитирования [4], мы уже сообщали в заметке [5].
Разумеется, мусор следует убирать регулярно и аккуратно, и мы рады, что на этом ответственном участке работает мощная бригада «Диссернета». Однако мирового лидерства, о котором толковал г-н министр [1], от одной лишь уборки мусора не случится. Кто-то должен производить достойную научную продукцию, добывать жемчуг. Даже на замусоренной территории дееспособные научные коллективы всё еще умудряются это делать. Это не всегда замечают государственные фонды и министерство, поскольку крайне сомнительно качество того, что называется у них научной экспертизой (обсуждение этой темы можно найти, например, здесь [6]).
И мы считаем нужным говорить не столько о мусоре, сколько о жемчуге и его добытчиках.
Если нацпроект «Наука», о котором поминал г-н министр [1], рассматривать в традиционном понимании науки как деятельности для получения новых знаний, то главной задачей этого проекта надо считать поддержку всех специалистов, способных работать на «мировом уровне», и создание условий для того, чтобы они также и воспитывали новые научные кадры.
Решает ли эту задачу давно уже принятая правительством РФ стратегия «точечных» вливаний в виде мегагрантов [7] и крупных грантов РНФ [8]?
С сугубо управленческой точки зрения куда проще выбрать очень малую долю ученых, назначить их «самыми крупными», дать им относительно много денег, и… ждать результатов по развитию науки в РФ. В самом ли деле этот подход чем-то обоснован?
Мы предлагаем реалистичный способ первичной оценки ситуации, основанный на цитировании недавно опубликованных работ российских ученых. В этом качестве мы используем ниже семилетний показатель СI7 (см. комментарий на странице [4]). Это лучше «квартилей», если взять на себя труд разобраться в классификации науки и сравнивать в рамках действительно одних и тех же направлений. Ниже обсудим для примера некоторые сравнения только для трех очень крупных направлений, хотя «на будущее» у нас собран материал и для многих других научных направлений, в том числе малых и трудно поддающихся какой-либо статистической обработке.
Наша цель — на конкретных примерах выяснить, являются ли держатели крупнейших госгрантов наиболее продуктивными в РФ учеными.
Итак, примеры. Мы собрали данные по числу статей в WoS за последние 7 лет и их цитированию для 152 руководителей мегагрантов [7] и 167 сравнимых по объему финансирования проектов РНФ «Проведение исследований научными лабораториями мирового уровня…» [8]. Около 40% этих проектов можно уверенно отнести к материаловедению (mater-sci), физике конденсированного состояния (cond-mat) и молекулярной биологии (mol-bio), см. таблицу 1. Данные по зарубежным руководителям проектов сейчас не рассматриваются, так как мы обсуждаем здесь только российский научный ресурс.
Таблица 1. Общие сведения о числе крупных грантов по обсуждаемым направлениям
|
|
Mater-sci |
Cond-mat |
Mol-bio |
|
Число мегагрантов |
15 |
19 |
28 |
|
Руководители: — зарубежные — диаспора — работающие в РФ |
. 6 5 4 |
. 6 11 2 |
. 8 14 6 |
|
Число «больших» грантов РНФ |
13 |
19 |
37 |
|
Руководители: — зарубежные — диаспора — работающие в РФ |
. 0 0 13 |
. 1 1 17 |
. 0 2 35 |
|
Получавшие и «большой» грант РНФ, и мегагрант |
1 |
2 |
4 |
В качестве контрольных групп ученых мы рассматривали работающих в РФ специалистов тех же крупных направлений, имеющих наиболее высокое активное цитирование, но не получавших указанных выше крупных грантов. В «первой сотне» по CI7 держатели крупных грантов составляют очевидное меньшинство (таблица 2). Попытаемся понять, действительно ли остальные коллеги из «первой сотни» дают принципиально меньший вклад в количественные и качественные характеристики публикационной активности?
Таблица 2. «Топ-группы» работающих в РФ по СI7 (цитирование работ, опубликованных в последние 7 лет) — первая сотня
|
|
Mater-sci |
Cond-mat |
Mol-bio |
|
Число мегагрантов |
4 |
3 |
4 |
|
Число «больших» грантов РНФ <РНФ+мегагрант> |
9 <1> |
7 <1> |
17 <2> |
|
Остальные — контрольные группы |
88 |
91 |
81 |
Число реферируемых в WoS статей (таблица 3) как у держателей крупных грантов, так и в контрольных группах различается в очень широких пределах (иногда достигая 15 статей в год, что кажется уже превосходящим все пределы разумного). Две средние колонки таблицы 3 приводят численность авторов, имеющих более 70 или менее 70 публикаций за 7 лет по каждой из исследованных подгрупп. Как видно из таблицы 3, нет значимых различий между «особо финансируемыми» учеными и контрольными группами по всем трем изученным направлениям исследований.
Еще более нас сейчас интересует не количество публикаций, а их качество. Для очень приблизительной его оценки ниже мы сравниваем типичное среднее (т. е. среднее геометрическое) количество ссылок на работы авторов из каждой изучаемой группы. Выбор в пользу анализа типичного среднего значения вместо обычного среднего арифметического сделан нами для сглаживания эффектов от единичных сильных флуктуаций (в малых подгруппах совсем сгладить не удается). Конкретно мы находили отношение числа ссылок на работы последних 7 лет (CI7) к общему числу (M7) этих статей, опубликованных каждым из авторов, входящих в исследуемые подгруппы. Затем вычисляли среднее геометрическое значение Q отношений q=CI7/M7 для каждой из групп: Q = (Πi=1…N qi)1/N. Значения параметра Q для каждой из групп приведены в правой колонке таблицы 3.
Разумеется, выбранный нами параметр Q характеризует не собственно качество научных публикаций, а скорее их востребованность на кратком временном интервале, однако некоторая корреляция между этими параметрами, несомненно, существует. Чтобы выяснить, сколько тут жемчуга, а сколько более рутинной продукции, требуется экспертный анализ. Но на этом предварительном этапе мы не обнаруживаем существенных различий между «финансово выделенными» учеными и гораздо более широкой «контрольной группой».
Кстати, в контрольной группе по cond-mat имеется 7 бывших лауреатов фонда «Династия», и еще двое таких лауреатов в контрольной группе по mater-sci. Их «Династия» в последние годы, к сожалению, уже никак не могла поддержать — а научную продукцию они, однако, всё еще производят.
Таблица 3. Число статей, реферируемых WoS, за последние 7 лет, и среднее цитирование одной статьи за последние 7 лет. Сравнение для держателей крупных грантов и «топ-групп» работающих в РФ, см. пояснения в тексте
|
|
>70 |
≤70 |
Q |
|
Мегагранты, диаспора Mater-sci (5) Cond-mat (11) Mol-bio (14) |
. 5 8 6 |
. . 3 8 |
. 25* 14 16 |
|
Мегагранты, работающие в РФ Mater-sci (4) Cond-mat (2) Mol-bio (6) |
. 4 1 2 |
. . 1 4 |
. 13* 9 12,5 |
|
«Большие» гранты РНФ Mater-sci (13) Cond-mat (18) Mol-bio (37) |
. 10 14 22 |
. 3 4 15 |
. 8,5 7 7,5 |
|
Топ-группы работающих в РФ Mater-sci (88) Cond-mat (91) Mol-bio (81) |
. 48 55 31 |
. 40 36 50 |
. 10 11,5 16 |
*завышено из-за единичных флуктуаций
Выводы из нашего небольшого исследования таковы.
В стране имеется как минимум в 5–10 раз больше производителей заметного количества вовсе не мусорной научной продукции, чем держателей крупных грантов (на самом деле их, конечно, еще больше — как в трех выбранных для примера крупных областях, так и в других).
Пока бессмысленно ждать от начальства изучения вопроса, каков реальный кадровый ресурс российской науки. Нужно в инициативном порядке, используя грамотную классификацию научных областей, анализировать наукометрические данные и формулировать задачи для экспертной оценки.
Именно поэтому в рамках проекта «Корпус экспертов» мы уже двенадцатый год продолжаем расширять списки цитирования [4], обновлять данные и бороться за максимально точное определение специализаций работающих в науке коллег. Смотрите, пожалуйста, внимательно эти списки, они выводятся сейчас по кодам научного рубрикатора. Будем признательны за исправления и комментарии. Можно писать через личные окна (открываются нажатием на фамилию) или по адресу [email protected].
В ближайшее время мы планируем серию публикаций по данным, извлекаемым из базы «Корпуса экспертов». В первую очередь попытаемся показать, какие именно научные области еще имеют в РФ достойное представительство и где именно (города, институты) они локализованы.
Михаил Фейгельман, Галина Цирлина
Судя по молниеносному удалению предыдущего комментария все действительно плохо
На самом деле к данной статье, как ни странно, до сих пор все поступившие комментарии ПУБЛИКОВАЛИСЬ БЕЗ ИСКЛЮЧЕНИЯ (и так бывает очень часто, никому без особой необходимости не хочется заниматься какой-то особой «цензурой»). Так что тут разве что какие-то глюки (и вряд ли и коллеги что-то удаляли, иначе осталось бы что-то в корзине и т.д.)
Но я сознательно оставлял эту странную реплику без комментария (ну типа пусть сами себя пугают страшными модераторами и не торопятся хулиганить :-)) Тем не менее, разумеется, при поступлении откровенного спама или хулиганства что-то сделано все же будет…
Вообще, мне кажется, у коллег как-то от ставшего нормой сейчас резкого интернет-общения начинается уже какая-то аберрация. Начинают подозревать, что и тут тролли или какие-то чуждые люди со стороны… Да кому ж такие специфические темы-то еще нужны?! На самом деле в таком разговоре участвуют, как погляжу, как раз только «свои», ну вот кому совершенно не все равно, так что не стоит болезненно реагировать на критику и подозревать кого-то в неквалифицированности и некомпетентности…
Какая-то парадоксальная статья. Сначала критикуются используемые сейчас наукометрические показатели на основе данных WoS, как они плодят мусор, а кого-то наоборот ущемляют. Взамен предлагаются… другие наукометрические показатели на основе данных… той же WoS! Эти другие показатели вроде бы дают правильную картину, а прежние — неправильную. Но что это значит? Использование прежних показателей тоже нельзя изначально назвать ошибкой, видимо, когда-то они давали достаточно разумные результаты, потому их и продвигали, за них и агитировали, в том числе в ТрВ. Но это было до того, как они были приняты за руководство к действию, а дальше сработал закон Гудхарта, за несколько лет наукометрия была взломана.
Вот как довольно резко и спорно об этом пишет А.Ростовцев:
https://www.facebook.com/andrei.rostovtsev/posts/2262395083822040
Конечно, можно сейчас придумать что-то, что пока никто не пытался взломать и поэтому оно пока хорошо выглядит, и обосновать его использование тем, что оно пока хорошо выглядит. Но что будет, если оно опять-таки будет принято за правило? Да то же самое, через какое-то время. Никто пока не пытался взломать «Корпус экспертов», пока он остается в роли неуловимого Джо и находится в оппозиции нынешнему руководству науки, но в принципе, все может измениться с точностью до наоборот, и победа может оказаться хуже нынешнего невнимания к предложениям.
Очень разумная мысль высказана. В самом деле, любая система принятая к повсместному директивному использованию, будет обязательно извращена.
Так на то и мозги, чтобы вовремя предлагать новые системы и отменять испорченные.
От одной испорченной системы к другой = это путь куда-то или в никуда, бег по кругу, отнимающий все больше ресурсов?
А может, не должно быть никакой системы, повсеместно принятой к директивному использованию?
Это было бы замечательно. Я-то лично был бы только за. Есть ли реализованные примеры (где-либо в мире) ? Расскажите, если знаете.
Уже появился класс преподавателей которые научили студентов науке обходить антиплагиат переписывая одну две статьи и выдавать в платных сборниках и курсах за свои Труды , преподовател
баллы, студенту сертификат. И диплом в портфолио и повышенная стипендия , научная коррозия набирает обороты
Какой-то странный набор ничем не подтвержденных заявлений.
Никогда и нигде не заявлялось, что мегагранты даются самым производительным ученым. Ничем не обосновано преимущество предлагаемого критерия перед другими. Тот факт, что критерий не находит значимых различий, может прежде всего свидетельствовать о низком качестве самого критерия. Или о том, что применяется для неподходящей ситуации.
Краткосрочная цитируемость прежде всего ловит текущий хайп. Выигрывают те, кто умеет держать нос по ветру и ловить волну. При таком подсчете точно так же проседают люди, работающие в узких областях. Даже сильнее, чем при отсеве по журналам. Редакторы серьезных журналов все-таки включают мозг и опираются при решениях не только на ожидаемую краткосрочную цитируемость. Так же как и грантовые панели.
Классификаторы в системе «кто есть кто» очень мало функциональны. Мне эта система дает 19 классификаторв. Половина не в тему вообще. Вторая имеет очень косвенное отношение к моей работе. Я всю жизнь занимаюсь ионными каналами. Но этого понять по классификаторам невозможно. Если кто-то будет рассматривать мою квалификацию, а тем более цитируемость по этим кодам, получится туфта. Ровно то же относится к тем людям, работу которых я хорошо знаю.
Действительно, механическое объединение классификаторов всех статей автора создаёт сильно искажённую картину его научных компетенций. Часто на самом деле классификаторы относятся к соавторам и одна -две статьи по теме ещё не основание считаться экспертом. Проблема в том, что идея «корпуса экспертов» по многим специальностям не доведена до конца. Вторым шагом должен быть опрос высокоцитируемых учёных: кого они считают экспертами по конкретным специальностям и конечно в чём считают экспертами себя. Только эта вторая часть выделяет «корпус экспертов» из множества разнообразных наукометрических классификаций, которые неустойчивы при использовании их в качестве целевого показателя. С другой стороны использование наукометрии в качестве нулевого приближения не худший вариант. Нулевая выборка по административным признакам будет менее устойчива к проникновению фальсификаторов, чему свидетельство экспертные советы ВАК по некоторым специальностям.
Собственно, они именно так и делали. На втором этапе был опрос. Я. к примеру, в списки экспертов не вхожу.
Еще более устойчива к закону Гудхарта будет число случайная выборка, без всякой наукометрии. Или вообще вся генеральная совокупность, которая не так уж велика. Но кто сказал, что нельзя взломать второй этап? До сих пор этого никто не пытался делать, поскольку это никому не было надо (эффект неуловимого Джо). Но если будет заранее известно, что проводятся опросы и они будут иметь последствия, совсем другое дело. Манипуляция людьми, в том числе массовая — это гораздо более древняя история, чем вся наукометрия.
Кроме того, хотел бы добавить, что сейчас всякие показатели используются для решения локальных вопросов — сколько человеку заплатить премии по итогам года, оставлять ли на текущей должности, брать ли на какую-то должность и т.д. А задача поделить всех ученых на людей первого и второго сорта в масштабах страны — это иная задача, и даже пугающая.
очень хорошая, правильная статья. Если не придираться к мелочам, то главный посыл правильный — система выбора хороших нс в РФ не работает. РАН пытается любые движения в
сторону использования объективных показателей пресекать, заменяя «экспертными оценками», т.е. ситуацией, когда лучшие будут указываться толстым пальцем жирной тетки.
И квартили неправильные (согласен), но и эксперты в основном никудышние.
Это является общей тенденцией стремительного возвращения в АН СССР 80-х.
Что делать? Ну наверное в нулевом приближении создать свою систему цитирования (раз недовольны чужой), в ней из нулевого приближения (из точной копии) развить и улучшить показатели, сделать систему настраиваемой. Но заменить ее «экспертной оценкой»…да это просто дикость средневековая. Особенно при наших средневековых «экспертах».
>создать свою систему цитирования (раз недовольны чужой)
Есть своя — РИНЦ, но ею еще больше недовольны.
Математика — малозатратная наука. Возможно для финансирования математики, поддержка всех проектов будет неплохой стратегией. А есть весьма затратные науки; государство не может каждому физику предоставить коллайдер. Неизбежно кто-то должен решать кому выделять деньги на исследования. Поэтому выделение группы экспертов неизбежно. Либо можно устроить «спортлото».
Массовая манипуляция людьми возможна поскольку подавляющее большинство плохо понимает что происходит. Как раз малой заинтересованной и компетентной группой товарищей трудно манипулировать.
Мне неизвестно как формируется корпус экспертов РФФИ. Есть подозрение, что там всё гораздо хуже, чем в обсуждаемым в статье списке.
>Неизбежно кто-то должен решать кому выделять деньги на исследования. Поэтому выделение группы экспертов неизбежно.
Должна быть ротация таких людей, принимающих решения (сменяемость власти), а не устраивать какую-то высшую касту господ.
>Как раз малой заинтересованной и компетентной группой товарищей трудно манипулировать.
Да ладно! Если абстрагироваться от ученых и признать, что они тоже люди, можно привести много примеров обратно.
По тому списку математиков, который представлен, в нем есть люди, которые могли бы без труда организовать себе массовую поддержку среди других участников списка. Просто это пока никому не надо.
Ротация необходима. Насколько я понимаю в РФФИ и РНФ ротации экспертов фактически нет, поскольку экспертов просто мало. Особенно если нужны эксперты из другого города (не из Москвы то есть).
Примеры манипуляций в малом коллективе конечно есть. При выборах в академию в частности. Но если экспертов кто-то просто назначает, то ему даже тратить усилия на манипуляции не нужно. Когда исходная группа выбирается по независимому признаку и состоит из компетентных индивидов, манипулировать ею сложнее.
Ну, можно, конечно, поддерживать какие-то начинания по принципу: хуже не будет, потому что хуже уже некуда, но на мой взгляд, это сомнительное занятие.
Просто ради конкретики, рассмотрим следующие ситуации. Есть ряд участников списка, находящихся в прямом административном подчинении у другого участника списка. Есть участник списка, руководящий журналом, где печатаются ряд участников списка.
Комментатор Denny может сообщить свое реальное имя и адрес, если желает получить квалифицированный комментарий на тему заявленной претензии. Может быть, что-то удастся поправить ( можно послать мне [email protected] или на общий адрес КЭ). Комментаторы, пишущие ради пустого времяпровождения, меня не интересуют совсем.
Дык… Тихонов Денис. Мы с вами как-то встречались и пересекались. [email protected]
Коллеги, ну не может быть единого критерия деления на козлищ и агнцев. Так не бывает. Каждый критерий имеет ограниченное поле применения. Используемый в системе «кто есть кто» критерий краткосрочной цитируемости имеет свое поле. При наличии планки >100 позволяет сделать первичный отбор активных и цитируемых. для такой задачи этот критерий работает. а при попытке с тем же критерием начать ранжировать крупных ученых он начинает давать погоду в Греции. Ибо крупных ученых надо характеризовать по крупным достижениям. Например по Q1. Ведь почему популярен индекс Хирша, несмотря на его очевидные недостатки? Потому что он дает неплохие оценки в массовом среднем сегменте (примерно от 10 до 30). Вне этих пределов пользоваться Хиршем бессмысленно.
Фокус в том, что пресловутая наукометрия есть не более чем статистический анализ. Для специфических задач свои специфические критерии. Надо только посмотреть, что именно ловит тот или иной параметр и определить границы применимости.
Может, проблема в том, что применяют статистический анализ (и верят в его силу) как к неодушевленным объектам, как привыкли, потому что физики и химики. У них атомы и молекулы не лгут, не мошенничают, не плетут интриги, не заботятся о своих интересах. А люди — они сложнее. С ними еще как минимум теория игр пригодилась бы.
Заходим на старницу так называемого «корпуса экспертов». Выбираем «Математика». Два раздела, по каждом эспертов ровно 0.
Корпус, говорите. Экспертов, говорите. Двенадцатый год пополняют они….
Лучше зайти именно на ту страницу, к которой относилось утверждение — то есть в списки [4]. Оттуда легко попасть на страницу математиков http://www.expertcorps.ru/science/whoiswho/c/100283 и увидеть список из 525 человек. Из них 12 лет назад в этих списках (находившихся тогда на scientific) было около 30, а всего их тогда было — с учетом тех, кто сейчас уже в мемориальном списке, к сожалению — около 50.
В части математики относительное расширение списков заметно больше, чем в среднем по всем специальностям. И опрос цитируемых математиков был в рамках единого большого опроса, но они в основном отвечали скупо, рекомендаций давали мало. Поэтому нет ни одного математика, получившего 5 рекомендаций (что было порогом для списков экспертов, где Вы усмотрели 0). В некоторых экспертизах обращались к математикам, получившим 3 — 4 рекомендации. В базе проекта всего более 800 математиков, т.к. есть еще рекомендованные коллегами, но не переходящие условных порогов цитирования [4]. Как это все оптимизировать — нужно чтобы математики вникли в детали и посоветовали.
Вообще с порога всегда все ругаются, а потом изредка случается, что ругавшиеся очень помогают этому проекту.
Простите, но я заходил именно по той ссылке которая была в исходной статье (номер 4 в списке) и на страницу о которой Вы упомянули так и не попал, зато двумя разными путями попал на страницу о которой писал
http://expertcorps.ru/science/experts/branch/math-all/all
http://expertcorps.ru/science/experts/branch/comp-sci/all
Не кажется ли Вам, что если человек который хочет получить списки экспертов (или тех кого, Вы в соотвествии с описанной методологией считаете возможным к таковым причислить) не может этого сделать, то что-то с этой страницей не так? Не считаете ли Вы, что коль скоро следуя методологии КЭ, за столько лет не удалось выявить ни одного математика, набравшего нужное число рекомендаций (при том, что в Вашем же списки есть общепризнанные лидеры в своих областях) то с методологией что-то не так? И где можно ознакомиться со спискоми по компьютерным наукам (как я понимаю, там ситуация такая же)?
По ссылке [4] Вы попадаете на страницу «Индексы цитирования российских и других русскоязычных ученых», далее выбрав По коду классификатора — можете смотреть разделы и подразделы разных уровней. Если хотите по верхнему уровню — то
математика — http://www.expertcorps.ru/science/whoiswho/c/100283
computer sci — http://www.expertcorps.ru/science/whoiswho/c/100935
С computer science конечно дело обстоит еще хуже, этого направления вообще раньше в списках не было, потихоньку сейчас собирается. Попадались разумные консультанты, в 2014 возник их классификатор.
С какой именно методологией не так? — с опросами? Так никто ж не утверждал что этот «снежный ком» работает для любых наук как метод выбора экспертов, тем более при одних и тех же порогах для рекомендателей. Если есть метод лучше/универсальнее — скажите какой… Но как минимум опросы помогли найти публикующихся людей, с одной стороны, и авторитетных, с другой. Иногда эти массивы пересекаются.
По comp-sci в базе более 600 человек (из них в списках цитирования 135), максимальное число рекомендаций — 3. Разумеется можно опрашивать людей, выбранных не по порогам нынешних списков цитирования, а по более низким. Такой эксперимент был с одним из низкоцитируемых разделов физики, он дал ненулевые результаты, но в реализации был сложным. Нечто подобное может быть организовано по любой науке при единственном условии — нужен опытный профильный консультант с широким кругозором, готовый тратить на это значительное время.
Два небольших замечания по спискам.
1. При пороге 100 ссылок за 7 лет большую роль могут играть самоцитирования. Некоторые фигуранты списков имеют 9 из 10 своих же ссылок. Несомненно это соответствует формулировке «активно работающий», но не квалификации «эксперт».
2. Специальности, которые указаны у участников списков, хорошо бы разделить на основные и «второстепенные». Основные — это когда значительная доля статей (например треть) относится к данной специальности. Иначе получается, что в некоторых мелких подразделах большинство в списке составляют люди попавшие в него только благодаря каким-то совместным работам.
1 — Конечно могут, а может быть просто мейнстримный эффект, но никто же никогда не рассматривал эти списки цитирования в экспертном контексте; это просто список людей, которых заметно по публикациям, причем для ряда областей заведомо неполный при таких порогах. А для некоторых областей — избыточный. Предложить разумные селективные пороги не получится до тех пор, пока не будет сделано написанное ниже в п.2.
2 — В базе специализации разделены именно таким образом в первом приближении, при желании это можно отразить и в открытых списках; вопрос только в том, как это сделать для всех достаточно аккуратно. Специализации размечались тремя способами — либо человек сам выбирал коды, либо его рекомендатели (это все было при опросах), либо кто-то из профильных консультантов. Во всех случаях неточности возможны. Иногда своей рукой кто-нибудь с размахом выбирает едва ли не половину классификатора, иногда не находит в его структуре нужный код.
Учтите, что консультанты — явление редкое, не по всем направлениям могут быть найдены (это большие затраты времени). Поэтому и был в прошлом году изменен формат списков, сделан вывод по кодам, и неоднократно была сформулирована просьба к «зрителям» — комментировать, исправлять, дополнять сведения о своих и соседских специализациях. Если хоть несколько десятков человек найдут время вникнуть и посмотреть по своим кодам или по своим институтам (такой формат там тоже есть), уже будет очень полезно.
2. Если люди сами так себя позиционируют, то имеют право. Посмотрел внимательно и мне кажется, что классификация улучшилась по сравнению с тем что было несколько месяцев назад.
Тем не менее, надо смотреть и дальше. Эта задача может быть решена только общими усилиями (разумеется только тех, кому интересен такой самолет — остальные могут спокойно летать государственным Аэрофлотом).
Опыт разных наших экспертных задач показал, что кодов часто недостаточно, бывают нужны ключевые слова (они тоже собраны для многих, но как неупорядоченный массив, при произвольной формулировке, не очень полезны). Значительная часть типичных простых ключевых слов сейчас упорядочена в разделе 400, эти видно в списках. Не меньшая часть ждет когда руки дойдут и консультанты появятся.
>Эта задача может быть решена только общими усилиями
Общими усилиями кого — агнцев и козлищ? Нет уж, пусть кто в списках, позаботятся о себе сами.
Это просто смешно. Нельзя верить в осмысленность опросов, оставляя за скобками вопросы мотивации ответов. Очевидно, что пока результат опроса зависит не от того, кто лучший эксперт, а от того, как люди относятся к проекту. Математики отнеслись с недоверием и остались без экспертов. По тому списку математиков, который представлен, в нем есть люди, которые могли бы без труда организовать себе массовую поддержку среди других участников списка. Было бы не то что 5 рекомендаций, а по 25. Просто это пока никому не надо. А если будет надо, результат будет зависеть от социальных связей, а не от того, кто лучше как эксперт.
Вас почитаешь так получается, что у математиков всё по блату.
Математики действительно относятся к наукометрии с недоверием. Но по другим причинам.
Наоборот, я хотел сказать, что по блату может быть у всех, если поставить людей в соответствующую ситуацию, в том числе и у математиков.
Следует иметь в виду, что — поскольку «это пока никому не надо» — попыток искусственно «организовать себе поддержку» почти что не наблюдалось. А те редкие, что наблюдались — были нами пресечены (такие попытки несложно заметить). Самое главное, что дОлжно осознать каждому что-то пишушему в связи с этим ли проектом, или другими подобными вопросами: нет никакого абсолютного верного решения. Желающие обсуждать «абсолюты» — благоволят обращаться к представителям религиозных конфессий, а мы здесь бессильны. Мы обсуждаем различные, местами корявые, а местами удачные практические методы, которые иногда могут приносить пользу. Не более того. На всякий случай, кстати, подчеркну: ни рубля бюджетных денег на всю эту нашу историю не пошло (и не пойдет). Предложенный нами метод хорошо сработал для физики конденсированного состояния, хуже для физики высоких энергий, и гораздо хуже — для химии. Таков факт, его происхождение можно исследовать. Но даже и по химии можно, при желании, использовать полученные результаты для подбора разумных экспертов — хотя это и сложнее. Внимание, вопрос: кто-то может предложить что-то другое, при том практически исполнимое ?
Тоже парадоксально, что люди, придумавшие систему, чьи дефекты очевидны на стадии обсуждения, за 12 лет не сочли нужным сами придумать что-то другое, а до сих пор ратуют за ее практическую реализацию в таком виде, возможно, полагая, что нужно дождаться проявления этих дефектов в реализации системы, когда будет нанесен реальный вред, и только после этого перейти к чему-то другому. Чтобы совсем было понятно: если можно заранее рассчитать, что спроектированный самолет не полетит, а упадет, стоит ли предлагать такой самолет в эксплуатацию?
Мне кажется метафора неверная. Скорее так: прежние дирижабли в космос не взлетали и этот далеко от земли не оторвётся. Официальные списки экспертов уже имеются: экспертные советы ВАК, экспертные советы РНФ и т.д. Причём по моему мнению внимание к наукометрии уже положительным образом отразилось на составе экспертного совета ВАК по математике. В интернет были выложены списки предложенных членов экспертного совета и затем утверждённый состав. Люди без достаточной публикационной активности в итоге в совет не попали. И это правильно. А раньше было достаточно просто попасть в список, поданный организацией.
Есть много разных официальных списков, составленных в разных организациях, по разным поводам и разным правилам. И отношение к ним у людей как к очередным официальным документам, никто вокруг танцы с бубном не устраивает.
Здесь же нам предлагается некий единый список на всю страну, все науки и все случаи жизни. Который противопоставляется всем прежним спискам, как будто несущий Истину. А включенные в него — как Избранные, которым суждено вершить судьбы простых смертных и вести в светлое будущее. Такой ореол нагнетается на протяжении многих лет. И лично у меня это вызывает негативные исторические ассоциации.
Этот проект был затеян, если я не ошибаюсь, году в 2007м. Когда еще совсем худо было с экспертизой. Поскольку дело оказалось невостребованным, довести до ума у них не получилось (насколько я понимаю). Хотя сама затея независимых от какой-то формальной структуры системы экспертов очень недурна.
Но скатывается в какое-то сектантство.
Имеет место случай т.н. тролля. Отличительная черта тролля — плохое знание русского языка. В данном случае, имеется очевидное незнакомство автора комментария со значением термина «сектантство». Вероятнее всего, незнакомство — наигранное, поэтому — тролль. Кормить тролля впредь не будем.
Предложить что-то другое многие могут (в том числе и я, например: Лазуткин А.П. Глобальный кризис института рецензирования и сетевая модель его преодоления // Научная периодика: проблемы и решения. 2017. Том 7. № 4. С. 197-213. Свободный доступ: http://spkurdyumov.ru/networks/globalnyj-krizis-instituta-recenzirovaniya-i-setevaya-model-ego-preodoleniya/)
Проблема не в отсутвии предложений, а в том, что к оценке качества научных публикаций подходят упрощенчески. Снежный ком, антиплагиат, интенсивность цитируемости и прочие упрощенческие инструменты не подходят к оценке качества знания. Но так удобнее тем, кто инициирует использование этих неподходящих инструментов.
Попробую еще выразить, чем мне не нравится «Корпус экспертов», концептуально, кроме того, что было сказано выше. И кроме названия, которое вызывает ассоциации с «Корпусом стражей исламской революции» (в Иране), «орденом меченосцев» (по И.В.Сталину), «внутренней партией» (по Дж.Оруэллу) и т.п. — но это уж может быть, что-то мое.
Вы занимаетесь централизацией, унификацией и монополизацией того, что централизовать, унифицировать и монополизировать НЕ надо. Поступаете так, как традиционно поступало советское, а ныне российское государство, за что его всегда критиковали и критикуют. Зачем брать пример с государства? Или что-то засело в головах? Как в анекдоте — что ни собирай, получается автомат Калашникова? Что это это за «самоорганизация ученых» такая — на однопартийной основе, когда ВСЕХ всерьез призывают приложить ОБЩИЕ усилия в ВАШЕМ проекте? Это что, всенародная стройка коммунизма, под руководящей и направляющей силой?
Откуда следует, что должна быть какая-то одна система, для всей страны, по всем наукам, на одной методологии? Да ниоткуда не следует. И провал системы в области математики и компьютерных наук это лишний раз показывает. Правильным в такой ситуации я вижу не призывать математиков исправлять эту систему, работая на нее, а призвать их создать свою собственную, во главе которой должны стоять люди, заслуживающие доверия (среди математиков), которые разбираются в классификации, и которые придумают какую-то свою методологию — продуманную, обсужденную и тоже вызывающую доверие. А не будут пытаться, образно говоря, натянуть сову на глобус, и вмешиваться в то, в чем не разбираются и не понимают. А если не смогут договориться об одной системе и методологии — тоже не беда, пусть будет несколько альтернативных. Этот же призыв можно адресовать специалистам и в других науках. Больше списков — хороших и разных.
Вы, натурально, не поняли сути проекта. Может от того, что среагировали эмоционально на «корпус».
Не было там отродясь централизации, унификации и монополизации. Они просто хотели создать площадку для самоорганизации. Для еще одного списка. В полном соответствии с концепцией «Больше списков — хороших и разных».
Я не возражаю, что все это делалось и делается с благими намерениями. Но они поставили задачу делать единый список на всю страну, по всем наукам и по общим правилам, т.е. задачу в государственном масштабе и в совершенно государственном же духе, о чем я и пишу. Да, пусть это произошло неосознанно, но пора уже осознать.
А теперь мы имеем организацию с несменяемыми лидерами, которые желают всем только добра, искренне верят в свою правоту, не терпят критики, и почему-то им должны доверять все остальные, и если кто-то хочет принести пользу в этом направлении — должен идти работать к ним, и если кто-то хочет найти экспертов не из официальных списков — то обращаться к ним.
Господь с вами, да кто ж заставляет им доверять или следовать их правилам (каким правилам)? Они предлагают поучаствовать в этом проекте, ЕСЛИ вам это симпатично. Не более. Не хотим к ним обращаться — не обращаемся. В том и прелесть, что у них нет никаких аппаратных возможностей. И если этот проект выживет, то только потому, что их мнению люди будут доверять. совершенно по своему свободному выбору.
Если у вас другие идеи формирования независимых клубов (если вам не мил корпус) экспертов — нет проблем. Предложите. Возможно, ваши идеи окажутся конструктивнее. Их идея, как мне представляется, не очень работает.
Я могу напомнить, что совсем недавно борьба с плагиатом была уделом романтических героев без аппаратных возможностей. А теперь система «Антиплагиат» внедряется государством повсеместно, принудительно, используется бездумно, до абсурда. Идеи наукометрии тоже еще недавно выглядели свежо, смело и оппозиционно, а потом были приняты и внедрены государством, и стало не весело. И этот проект, если на него всерьез обратит внимание государство, оно может поглотить и использовать со всеми вытекающими последствиями.
Или вот вы говорите о доверии. Есть разница между профессиональным доверием и непрофессиональным. Допустим, какому-то постороннему человеку, далекому от науки, нужен эксперт по математике или ионным каналам. Он узнает, что есть какой-то «Корпус экспертов», идет на их сайт, видит, что во главе стоят известные ученые, со званиями, должностями, прочими заслугами, думает, что им можно доверять. Он не понимает, что они являются специалистами в своих областях науки, а не по математике или ионным каналам, и не по экспертам в этих областях.
Неубедительно. ЛЮБУЮ хорошую идею, достижение, научное открытие можно при желании и соответствующих ресурсах обратить во зло.
Но выступать следует против зла, а не против новых идей и открытий. Если в полиции (например) цветет коррупция, то бороться надо с ней, с коррупцией, а не отменять полицию. С бездумным применением антиплагиата и наукометрии, а не с антиплагиатом и наукометрией.
Ну, это вы выводите на классическую тему ответственности ученого за открытия и изобретения, по которой есть разные мнения.
Вспоминается из Стругацких:
«Колючки от волков?! Это я, дурак, — от волков… Рудники, рудники оплетать этими колючками… Чтобы не бегали с рудников государственные преступники. А я не хочу!.. Я сам государственный преступник! А меня спросили? Спросили! Колючка, грят? Колючка. От волков, грят? От волков… Хорошо, грят, молодец! Оплетем рудники… Сам дон Рэба и оплел. И мясокрутку мою забрал. Молодец, грит! Голова, грит, у тебя!.. И теперь, значит, в веселой башне нежный фарш делает… Очень, говорят, способствует…
Знаю, думал Румата. Все знаю. И как кричал ты у дона Рэбы в кабинете, как в ногах у него ползал, молил: «Отдай, не надо!» Поздно было. Завертелась твоя мясокрутка…»
Это не я, а вы. Не перекладывайте с больной головы на здоровую. Это вы написали: «И этот проект, если на него всерьез обратит внимание государство, оно может поглотить и использовать со всеми вытекающими последствиями.»
Я же только отметил, что это можно применить к ЛЮБОМУ проекту.
Когда вам не удалось приписать авторам проекта «централизацию, унификацию и монополизацию», вы перешли на другой уровень, заявив, что это могут сделать другие. Неубедительно.
Во-первых, я не собирался обобщать, чтобы не уходить в офф-топ, и говорил только о трех конкретных случаях (кстати, связанных даже персонально). Во-вторых, я никуда не уходил от заявлений о централизации, унификации и монополизации, а только дополнил их. И раз уж зашел разговор абстрактного характера, то мне помнится одна статья В.И.Ленина (задолго до революции), где говорится, что государственно-монополистический капитализм — это последняя стадия перед социализмом. Потому что тогда единственное, что остается — это установить контроль над монополиями, там все к этому готово — приходи и бери. Это гораздо проще, чем установить контроль над множеством мелких частных предприятий.
Пардон. Я как-то не увидел в ваших претензиях ничего конкретного. От слова совсем. Возможно пропустил или не понял. Пардон. Вы не будете столь любезны напомнить, что КОНКРЕТНО вам не нравится в деятельности организаторов корпуса экспертов?
Я уже не знаю, что еще сказать, по-моему, сказано достаточно. И с русским языком у меня все в порядке.
Впрочем, даже если бы я ничего тут не сказал, остальных комментариев — от вас, В.П. и n11, и их ответов на них, на мой взгляд, более чем достаточно для характеристики их деятельности перед любым непредвзятым читателем.
У меня серьезных претензий к их деятельности нет. Есть ДВЕ конкретных.
1. Мне не нравится их классификатор. ИМХО, он не функционален, по крайней мере в моей области.
2. Мне не нравится использование индексов краткосрочной цитируемости для оценки мегагрантинов. Глубоко сомневаюсь в работоспособности этого критерия в области серьезных достижений.
Обе претензии к конкретным реализациям, а не к идее корпуса экспертов.
Мне искренне жаль, что идея независимого корпуса экспертов не получила (насколько я понимаю) должного развития. Но это не столько упущение организаторов, сколько слабое на сегодня развитие научной общественности.
Между чистой идеей и практической реализацией бывает много промежуточных этапов — детализация и проработка идеи, проектирование и т.д. Скажем, чистая идея самолета — это «давайте построим штуку с крыльями, которая летает». Кто же против? Все за. Но дальше еще много нюансов и проблем.
Так то и я за независимую экспертизу, и мне тоже искренне жаль. Но вот сформулируем не «Корпус экспертов», а «частное консалтинговое агентство по вопросам естественных наук». Вроде бы то же самое, но насколько меньше пафоса и амбиций. Значит, эти пафос и амбиции были изначально заложены и не случайно. Люди хотели не оказывать услуги, а «спасать Россию» (в сфере науки). Они хотели бы, чтобы обращения в «Корпус экспертов» и сотрудничество c ним стали общепринятой практикой, а их методики и оценки — общепризнанной истиной, в масштабах страны. Оказывать услуги по подбору экспертов или делить всех ученых на «козлищ и агнцев» (как вы же сказали), а затем указывать государству, кого следует финансировать, а кого нет, когда никто не спрашивает, — это довольно разные задачи. Может быть, и среди агнцев не все бы хорошо к этому отнеслись и вспомнили Януша Корчака.
Более того, хороший ученый и хороший эксперт — это не одно и то же. Хороший ученый — тот, кто увлеченно занимается тем, что ему интересно, и достигает в этом успеха. А хороший эксперт — это тот, кто готов отказаться от того, что ему интересно, и повременить с успехами, а всерьез заняться тем, что просят чужие люди и терпеливо разбираться, может быть, в какой-то ерунде. Разве не так?
Теперь по вашим конкретным замечаниям. 1 — разве нормально, что такие недостатки вылезают в проекте, который развивается 12 лет, а не сделан неделю назад на коленке? 2 — именно, «странный набор ничем не подтвержденных заявлений» (по вашему выражению). Именно на подобном наборе построена вся их методика, и еще на магии чисел. Почему нет экспертов по математике? Отвечают: на всех нужно по 5 рекомендаций, а математики ни на кого столько не дали. Ничего не можем поделать, такое правило. Методика превращается в предмет веры. Если реальность ей не соответствует, тем хуже для реальности.
Ну и как это все выглядит?
Богатая у вас фантазия!!! Почитайте
http://trv-science.ru/2017/10/24/popytka-samoorganizacii/
Ой, да читал я это все, читал. Как и знаменитую статью Ливанова и Гельфанда читал, и много чего еще.
По этому поводу есть афоризм (точную формулировку не помню, но примерно): нет такой плохой ситуации, которую бы умные, добрые, честные и смелые люди не могли бы сделать еще хуже.
Мне кажется, иллюстрацией к дискуссии может служить старый советский анекдот про водопроводчика: «Опять протекает! Систему менять надо. (Товарищ, пройдемте … знаем мы про какую Вы систему)»
Уточню свою позицию. Любой алгоритм оценки такой тонкой материи как научная эффективность обречен иногда давать ошибки. При централизованном авторитарном управлении уже поняли, что отдавать решение на откуп «местным уважаемым товарищам» чревато серьезными провалами. Идеологический контроль тоже только вреден. Отсюда попытка найти формализованное стандартизованное решение, опирающееся на авторитет мирового научного сообщества. Так, несомненно, лучше, чем «по решению начальства», но все равно хуже, чем возможные решения в менее жесткой (не авторитарной) системе, с большим выбором возможностей. А вообще, умная профессиональная администрация — это хорошо. Но на всякую власть надо конкуренцию и критику — не только сверху (как в Вертикали), но со всех сторон.
Неавторитарная система с большим выбором возможностей лучше. Несомненно. КОГДА ОНА ЕСТЬ!!! Я лично даже зачатков подобных систем в России не наблюдаю. А вы видите какую-либо РЕАЛЬНУЮ возможность развития науки кроме авторитарного внедрения мировых стандартов работы а ля Петр I?
Конечно, лучше лучшая система оценки, чем худшая (простите за тавтологию). Лучше чем ничего. Но ясно и то, что это — паллиативные методы … чтобы больной меньше страдал. Отнюдь НЕ излечение. И понятна общая ситуация — 1% роста под санкциями — при 4% в среднем по планете — только замедленный коллапс. Который власти пытаются решить бряцая Бомбой — «УБЕРИТЕ санкции — смотрите как плохо получается когда мы скалимся!»
>решение, опирающееся на авторитет мирового научного сообщества.
А в чем вы видите здесь опору на авторитет мирового научного сообщества?
Наукометрию. Если коротко.