К десятилетию проекта «Корпус экспертов по естественным наукам»
Речи нет о юбилее, но дата круглая, и это повод для некоторых обобщений. В октябре 2007 года в МЦНМО был дан старт инициативному проекту «Корпус экспертов» (КЭ) [1]. Эти 10 лет вместили много проб и ошибок, потерь и находок, горы технической работы и немало проведенных содержательных экспертиз. На выходе — большая актуальная база данных и опыт, которым нам хотелось бы в этом тексте поделиться с коллегами. Нет возможности описывать здесь всю эту историю с самого ее начала, но по ссылкам на страницы сайта [1] можно восполнить пробелы.
Особенности «снежного кома»
При планировании первых опросов КЭ, в которых цитируемых специалистов из «списков Штерна» [2] просили рекомендовать экспертов, т. е. назвать квалифицированных и уважаемых коллег той же или родственной специальности, мы надеялись на несколько витков. Думали, что те, кого назовут N раз, станут на следующем витке рекомендателями независимо от цитирования.
Однако аналогии со «снежным комом» в социологических опросах не получилось: видимо, в профильных опросах круг активно работающих в той или иной области людей нередко оказывался слишком узким. А до некоторых сообществ, в которых типичное цитирование было невысоким, и поэтому рекомендателей было мало, — «ком» просто не докатывался, опросы соседних сообществ не очень помогали.
Были более и менее удачные попытки снижения порога по цитированию как критерия для рекомендателей [3]. Многократно обсуждалось, как выбирать число N для разных дисциплинарных сообществ. Однако когда началась непосредственно экспертная работа, стало понятно, что экспертные качества при любом N требуют прямой экспериментальной проверки. Роль опросов в проекте была, однако, очень велика и не сводилась только к получению рекомендаций: участники опросов помогли в расширении списков цитирования и, главное, в уточнении специализаций коллег. В последние два года проводился «большой опрос» [4] по всем специальностям одновременно, и новые имена продолжали появляться, но среди них уже преобладали люди самого младшего поколения.
На анкеты КЭ отозвались 3199 человек, из них 82 сочли нужным заявить об отказе от участия. Остальные (32,6% от общего числа людей в списках цитирования по состоянию на октябрь 2017-го) либо заполнили анкеты целиком, дав рекомендации (2453 человека), либо — только в части информации о себе (664 человека). Всем огромное спасибо. До некоторых адресатов анкеты, по-видимому, не дошли из-за проблем с электронной почтой.
В ходе опросов рекомендации получили 9709 человек (не менее двух рекомендаций — 3150, не менее трех — 1665, не менее пяти — 733). Совершенно излишними оказались опасения типа «цитируемые выберут сами себя»: половину людей, входящих в списки цитирования, не рекомендовал никто, а среди хоть один раз рекомендованных в эти списки входят чуть меньше половины. Остальные рекомендованные — 2660 зарубежных коллег, а также 2293 русскоязычных специалиста, цитирование которых ниже порогового в списках [2] (это, как правило, представители малоцитируемых направлений).
(Не?)полнота списка рекомендателей
![Динамика численности в списках [2]](http://trv-science.ru/uploads/240-0006.jpg)
Это своего рода ресурс: все академики и членкоры (включая бывшую РАМН), участники больших экспериментальных коллабораций, бывшие стипендиаты «Династии» и другие аналогичные группы молодых научных людей, а также коллеги, привлекавшиеся к экспертизам по «вторичным» рекомендациям (см. ниже). Данные об их публикациях время от времени обновляются, и некоторые имена постепенно пополняют списки [2]. Параллельно действует традиционный заявительный механизм (работает как по почте, так и через сайт). И наконец, Сергей Крашаков проводит раскопки в РИНЦ (это практически полный, хотя и весьма неаккуратный список всех научных и околонаучных работников РФ).
Благодаря поиску по этим независимым каналам в списках цитирования сейчас почти 7 тыс. человек, работающих полностью или частично в РФ (72% от общего числа в этих списках). Похоже, что список российских рекомендателей содержит значительную долю активно работающих специалистов, имеющих заметное цитирование, и в этом смысле выходит на насыщение.
Напротив, в части диаспоры говорить о полноте списков не приходится, вряд ли она достижима — и неочевидно, что нужна. Представители диаспоры в основном появляются в базе (и в случае соблюдения критериев — в списках цитирования) по рекомендациям коллег или (гораздо реже) сами просят проверить их цитирование и включить в списки. В основном это люди, которые поддерживают контакты с коллегами в РФ.
Собственно экспертиза
Заказчиками экспертизы за прошедшие годы выступали разные организации, и сами запросы были разными. Например, РВК просила подбирать экспертов для проектов, а процесс оценки проводила самостоятельно. Компания «Тройка-диалог», напротив, обращалась для организации полного цикла оценки проектов, Роснано — для экспертизы уже поддержанных образовательных проектов и анализа «нанотехнологического» образования в целом, Сколтех — для внутреннего конкурса совместных проектов с MIT и для научного аудита подразделений. Самым массовым экспертным приложением КЭ были молодежные конкурсы МГУ (более крупные конкурсы в этом учреждении проводились как-то иначе). Для экспертизы в МГУ была создана сопряженная база, и раз в год между базами МГУ и КЭ происходил обмен информацией.
Мы обсуждаем здесь только впечатления от экспертиз, которые наблюдали на всех их этапах. Профильными координаторами в таких случаях всегда были многократно рекомендованные в опросах КЭ специалисты, их роль наиболее ответственна и является решающей. У координаторов кроме доступа к базе КЭ (или сопряженной базе МГУ) было право при необходимости выбирать экспертов не только из этих баз — что неизбежно в случае направлений с типично низким цитированием.
В реальной практике, особенно для узких и малоцитируемых областей, ориентировались на порог N = 3 (не менее трех рекомендаций) или реализовывали рекомендательный принцип «по цепочке». У рекомендованных в опросах специалистов родственного профиля спрашивали: а кто бы мог быть экспертом по такому-то вопросу? — и чаще всего узнавали имена людей, у которых следует спросить поточнее. Для всех участников экспертиз в базах накапливается экспертная история (в частности, отмечается радикальное отличие оценки от оценок других экспертов, решавших ту же задачу). Всего на сегодняшний день для участия в экспертизах приглашались хотя бы один раз 1096 человек (среди них были отказавшиеся и неответившие), неоднократно приглашались и участвовали — 391.
С экспертами и координаторами взаимодействие всегда было куда более простым, чем с заказчиками. Начать с того, что самые что ни на есть прогрессивные представители заказчиков, заявляя, что им нужна независимая экспертиза, обычно не могут сразу твердо сформулировать, на какие конкретно вопросы они хотят получить ответы от экспертов. Если проекты, то еще полбеды — просто хотят знать, какие поддерживать (но критерии обычно указывают расплывчато). А вот если аудит — совсем тяжело понять, что же оценивать. В ходе обсуждений с каждым заказчиком, который «хотел хорошего», постепенно рождались регламенты, неотъемлемыми частями которых, разумеется, являлись требования к предоставляемым для оценки материалам. И тут возникало узкое место: мало кто из заказчиков был способен в разумный срок предоставить все сведения в формате, который сам же согласовал…
Самой главной особенностью экспертной работы КЭ является выбор специализации эксперта, как можно более близкой к специализации объекта оценки. Это особенно важно для так называемых «мультидисциплинарных» случаев, потому что не бывает «мультидисциплинарных» экспертов, и чем более «мульти» объект — тем больше людей из разных дисциплин должны его оценивать.
Классификатор, который мы считаем центральным во всей конструкции [6], — это способ предварительной сортировки по дисциплинам и специализациям; ключевые слова — полезное дополнение к классификатору, и, кроме того, координатор может определить специализацию с максимальной точностью, используя актуальные сведения о публикациях каждого человека в базе КЭ.
Не дело экспертов принимать организационные и финансовые решения по итогам экспертизы, но, конечно, мы интересовались конечным результатом. Были немногие примеры, когда заключения экспертизы оказывались учтены заказчиками полностью или в значительной степени; чаще результат был противоположным. Тем не менее мы будем продолжать проводить экспертизы и накапливать экспертную историю. Только она помогает окончательно понять, «кто есть кто».
Внешняя политика
Не то чтобы Минобрнауки и (позднее) ФАНО нас не замечали все эти годы… очень даже замечали, и всякие оттуда поступали сигналы. Чаще всего сигналы исходили от отдельных низовых сотрудников как от частных лиц, в стиле «а дайте-ка список экспертов для оценки мегагрантов» — разумеется, без всяких объяснений, как эта оценка будет осуществляться, и без какой-либо информации о тематике («по физике вообще»).
Мы иногда называли в таких случаях наиболее надежных и широких по кругозору экспертов, про которых уже была уверенность, что они точно не станут рецензировать вне своей специализации, но смогут назвать нужных специалистов. Участия в организации конкурсов в таких случаях твердо избегали: через госинстанции провести без искажений корректный регламент экспертизы — это как на самокате наезжать на колонну танков. И мы свой самокат старались всё же сберечь для создания альтернативных прецедентов.
Ну в самом деле, какие могут быть пересечения между КЭ и Минобрнауки? В разных плоскостях находимся. Минобрнауки собирает сведения обо всех институтах и научных сотрудниках, а КЭ — о наиболее активных, заметных по публикациям и по отзывам коллег. Минобрнауки изучает собранные сведения на уровне госстатистики, а КЭ — на уровне научных специализаций. Минобрнауки создает «федюкинскую карту науки», а КЭ — «Карту полезных ископаемых на территории российской науки» [7]. Примерно как в анекдоте: «Я не даю в долг, а банк не торгует семечками».
Если говорить серьезно, мы совершенно уверены в необходимости анализа российской научной ситуации на сугубо профессиональном уровне, независимо от госинстанций, которые произвести такой анализ не в состоянии: какие конкретные направления всё еще конкурентоспособны, какие специализации и дисциплины поддерживают добротный средний уровень и всё еще обеспечивают преемственность поколений, какой и где имеется человеческий ресурс для преподавания современных спецкурсов в вузах и т.п. Нельзя полностью исключить, что в каких-то направлениях такой анализ может быть поддержан со стороны негосударственной индустрии и компаний. Мы готовы обсуждать инициативы такого рода и уверены, что созданные за 10 лет технические инструменты базы КЭ могут существенно помочь в подготовке сведений для такого анализа.
В 2014–2016 годах наше взаимодействие с госинстанциями случилось в порядке поддержки усилий Комиссии по общественному контролю в сфере науки (rascommission.ru). Дело было связано с организацией оценки институтов, проводимой ФАНО. Заметное число членов Комиссии вошло в рабочую группу ФАНО по выработке документов, по которым планировалось проводить эту оценку. Конечно, это была история из серии «как всегда»: подробный и самосогласованный регламент замотали в инстанциях, «сбор сведений» по-прежнему происходит в стандартном минобровском режиме, сроки оценки опять пожарные.
Но один из сохранившихся элементов нам кажется важным даже в той неблагоприятной ситуации, которая сложилась сейчас. Мы всем миром боролись за большое число профильных референтных групп, чтобы минимизировать «сравнение длинного с зеленым», и этого в значительной степени удалось добиться (альтернативные варианты, изначально происходившие из Минобрнауки и РАН, были оба непригодными, но сильно по-разному; в этом месте нам неожиданно удалась роль центристов).
Планы и перспективы
О каждом из упомянутых выше аспектов деятельности КЭ можно написать подробные материалы с разнообразной статистической информацией, не говоря уже о поводах, которые дают такие материалы для аналитической работы. Хватит ли у нас сил всё это сделать, зависит от многих обстоятельств, и прежде всего от появления готовых войти в состав рабочей группы волонтеров из младшего и среднего научных поколений.
Мы сделаем всё возможное для поддержания актуальных списков [2], но следует понимать, что их существование напрямую связано с оплатой договора с Thomson Reuters и ручного труда операторов. В отсутствие грантовой поддержки проекта КЭ (ее нет уже четыре года) это возможно только за счет контрактов на дополнительную работу, выполнение которой требует, в свою очередь, оплаты труда технических сотрудников и очень значительных трудозатрат членов рабочей группы, традиционно действующих на общественных началах.
Мы готовы организовывать экспертную поддержку для квалифицированных заказчиков, способных сформулировать задачи оценки. И думаем в последнее время о том, что в условиях неожиданного расцвета научной популяризации КЭ мог бы существенно помочь журналистам избегать заведомо неточной и ошибочной информации. Проект КЭ открыт для предложений и сотрудничества с людьми, разделяющими наши представления о необходимости создания прецедентов нормальной внутринаучной жизни даже в условиях неадекватной государственной научной политики.
Acknowledgements
У проекта «Корпус экспертов» на разных этапах были и есть замечательные сотрудники. Мы глубоко признательны за долготерпение и огромные трудозатраты Владиславе Сабрауи, Ольге Гармаш, Александру Прокофьеву, Екатерине Малинкиной, Юлии Вахтеевой, Инне Крашаковой и Григорию Копелевичу. Мы признательны нашим многочисленным консультантам (см. [1]) и отдельно Сергею Крашакову, помогающему проекту в ежедневном режиме.
Устойчивость КЭ в течение шести лет придавала поддержка фонда «Династия».
Решающую роль в инициировании и развитии проекта КЭ, а также в его защите от конъюнктурных доброжелателей сыграл Виталий Арнольд (1968–2017).
Михаил Гельфанд, Михаил Фейгельман, Галина Цирлина
1. Сайт проекта: www.expertcorps.ru
2. Списки цитирования: www.expertcorps.ru/science/whoiswho (критерии описаны в начале страницы).
3. Методики опросов: www.expertcorps.ru/science/methods
4. М. Гельфанд, М. Фейгельман, Г. Цирлина. Большой опрос // ТрВ-Наука, № 188 от 22 сентября 2015 года. С.3.
5. Мемориальный список: www.expertcorps.ru/science/whoiswho/memlist
6. Единый научный рубрикатор: www.rascommission.ru/rubricator
7. Карта полезных ископаемых — поиск на территории российской науки: www.expertcorps.ru/static/cms/MAP_final.pdf
Пара замечаний: «федюкинская карта науки» благополучно умерла ещё в прошлом году, и WoS также давно продан Thomson Reuters в компанию Clarivate.
Будет забавно, если WoS неожиданно разорится и закроется… Что кстати вполне может быть — сейчас это небольшая, частная, и чисто коммерческая организация…
Жаль конечно, что ISI перестал быть государственной конторой: сначала его приватизировала Thompson Reuters, а сейчас они как то и оттуда выпилились в отдельную компанию .
Кто нибудь знает подробности? Почему их приватизировали? Зачем «выделили» из Thompson Reuters? Как у них с финансами?
Раз уж мы заговорили о наукометрии, никто не в курсе чем нынче занимается ВИНИТИ? Тоже ведь база данных есть) Сейчас хоть кто нибудь ей пользуется, у кого нибудь есть подписка?
Сейчас это звучит забавно, но ISI появился как ответ США на появление ВИНИТИ, а совсем не наоборот;)
ВИНИТИ занимается тем же чем и -дцать лет назад
Но тогда это было нужно, а сейчас — бессмысленно: они присылают тем, кто реферирует статьи, корявые ксероксы от статей, которые в большинстве своём давно вышли в онлайне
Все кому надо про эти статьи узнают задолго до того, как выйдет реферат в РЖ — через подписки на оглавления журналов, researchgate, оповещения scopus / scholar и т.д.
В общем, по моему мнению им в ВИНИТИ надо было хотя бы лет 10 назад перейти полностью на электронный формат, может быть тогда и удалось бы что-то поправить
А сейчас это чистый анахронизм
Понятно… Просто у них на сайте есть ссылка на электронную базу данных за пейволом(за деньги), я думал вдруг там что то интересное. Если РЖ это главный продукт ВИНИТИ, то тогда это действительно бесполезный анахронизм, который кстати стоит как 2-3 средних института РАН/ФАНО.
*я тут постом выше сокрушался, что ISI частная контора — и может быть зря. Если копнуть чуть глубже первой страницы википедии, окажется, что приватизировали этот институт куда раньше. И до приватизации он был весьма унылым и чисто бумажным — полным аналогом ВИНИТИ. В 1988 его приватизировали — его купило издательство JPT за 22 млн$, вложило в него кучу денег и перевело базу данных в электронный вид. После этого оно стало приносить прибыль. И только в 1992 году его купило другое издательство(уже за 210 млн$) — Thompson Reuters. В 2016 он отделился от Thompson Reuters путем spin off, т.е. видимо теперь это отдельная компания, но её акции принадлежат Thompson Reuters(или её же акционерам). Короче говоря, похоже что приватизация ISI пошла ему на пользу.) У КЭ есть шанс на коммерческом поприще:) разве что elibrary мешается ибо конкурент(оттуда и критика на страницах ТрВ?)
Сдается мне, что КЭ мало кому нужен практически, хотя идея оч правильная
Это как ВАК. Вроде правильная идея, а толку -3%
Наш уровень развития упал настолько, что и без КЭ, все Кабмины «сами с усами».
Потому и бардак во всем. И с наукой и с экономикой и с технологиями
Видимо нет в стране хозяина
я вполне согласен с комментом влад по сути кэ оказался некой разводкой типа вы ппс и нс давайте за свои гроши мировой уровень как у них но начать лучше было бы с зарплат как уних а потом и остальное ибо сытый нищего и голодного не разумеет банально но верно
Глубокоуважаемые авторы КЭ, раз мы выяснили, что количественных данных о качестве/количестве научной диаспоры и «утечке мозгов» у Росстата и ВШЭ видимо нет, то может быть КЭ может что нибудь рассказать по этому поводу?
Например сравнить количественные показатели(и число) авторов с чисто российской и с иностранной аффиляцией, раз у вас есть отобранные списки?
так данные КЭпрактически никем не востребованы и не принимаются во внимание так в мгу в системе истина и цитирование и хирш считаются по своему и данные по ним сильно ниже чем в кэ да и роль их в общих баллах мизерна