Идеальная экспертиза

Александр Фрадков,
докт. техн. наук, зав. лабораторией «Управление сложными системами»
Института проблем машиноведения РАН, профессор СПбГУ

О недостатках существующих систем экспертизы проектов писали многие. Интерес к проблеме обостряется в периоды публикации итогов конкурсов, и сейчас как раз такой момент — весной прошли два конкурса нового Российского научного фонда (РНФ), беспрецедентные по разыгрываемым суммам финансирования. Итоги конкурсов, их достоинства и недостатки интенсивно обсуждаются ^[1–4]. Однако конструктивных предложений, как преодолеть недостатки, немного. Еще меньше системных предложений, основанных на прошлом опыте.

Автор берет на себя смелость выступить с такими предложениями, поскольку имеет, возможно, уникальный опыт: Экспертный совет РФФИ (2002–2005 годы) экспертная сессия конкурса проектов по европейской программе FP7 (Брюссель, 2007 год), Совет по грантам при Правительстве РФ (2012–2014 годы), многолетняя работа в качестве эксперта РФФИ. Анализу этого опыта посвящены публикации ^[5–7]. Экспертиза научных проектов имеет много общего с peer-review-рецензированием журнальных публикаций. Автор с 1998 года является членом редакционного совета по системам управления IEEE, и этот опыт отражен в публикациях ^[8–10]. Наконец, недавно появился опыт работы в качестве эксперта РНФ. Конечно, предлагаемая «идеальная» система экспертизы не идеальна, но обсуждать, как должна выглядеть идеальная система, по-моему, важно.

Итоги первых конкурсов РНФ

В апреле-мае 2014 года стали известны принципы организации системы экспертизы РНФ. В рецензировании заявок первого конкурса РНФ принимало участие около 3000 экспертов и поэтому достоинства и недостатки системы рецензирования заявок РНФ широко обсуждаются ^[1–3]. С последовательной критикой системы РНФ выступила Г.А. Цирлина ^[4].

Среди претензий, предъявляемых к РНФ, выделим следующие группы:

— претензии к составу экспертного совета (ЭС): много случаев явного или скрытого конфликта интересов у членов ЭС и координаторов по направлениям;

— претензии к работе экспертов: оценки разных экспертов сильно различаются по баллам и не соответствуют итоговым заключениям, представленным авторам;

— претензии к экспертной анкете: описания градаций невнятны, не указано, какой оценке (баллу) они соответствуют, имеется непонятный пункт «плохо или недостаточно информации»;

— претензии к классификатору областей наук.

С конфликтом интересов, безусловно, надо бороться, и способы этой борьбы известны. Они сформулированы, например, в Заявлении ОНР по поводу итогов конкурса научных групп РНФ ^[3]:

а) запретить руководителям научных и образовательных организаций, высокопоставленным чиновникам и их заместителям входить в экспертные советы Фонда и уж тем более руководить ими или их секциями;

б) запретить членам экспертных советов Фонда участвовать в экспертизе и обсуждении не только проектов, в которых они принимают участие, но и проектов, представляемых организацией, в которой они работают, в том числе по совместительству;

в) создать механизм опротестовывания решений и лишения уже присужденных грантов при обнаружении формальных нарушений правил подачи заявок (например, при выявлении недостаточного числа публикаций должного уровня).

Перечисленные требования не являются чем-то необычным. Похожие требования предъявляются к экспертам, участвующим в экспертных сессиях по европейским программам; они реализованы и при экспертизе российских мегагрантов, где неплохо работают. Был даже случай их нарушитель был исключен из Совета по грантам.

Кстати, требование в), как оказалось, уже учтено РНФ: в соглашениях, заключаемых с победителями конкурса существующих лаботаторий есть пункт

2.2. Фонд вправе:

2.2.1. Сокращать объем гранта, приостанавливать или прекращать перечисление средств гранта в случаях:

в) несоблюдения Руководителем проекта и (или) Организацией условий и цели предоставления гранта;

д) обнаружения в заявке, поданной на конкурс, результаты экспертизы которой явились основанием для заключения настоящего Соглашения, недостоверных сведений, существенно повлиявших на положительные выводы экспертов и результат экспертизы в целом.

К сожалению, в вопросах научной этики часто не ориентируются сами наши ученые и администраторы. Можно ли запретить директору или заместителю министра подавать на конкурсы малых научных групп РНФ или РФФИ? Конечно, нет, но их административный вес будет давать им «ненаучное» преимущество при рассмотрении, что их не красит. Может ли руководитель (административный или научный) быть исполнителем у своего подчиненного или ученика? В правилах РФФИ подобный запрет есть, а в РНФ нет.

Я сам, например, постеснялся включиться в заявку своего молодого подчиненного, а один уважаемый мной академик, известный ученый и администратор науки, не постеснялся, что, возможно, и привело к выигрышу заявки.

Разброс оценок экспертов

Что касается отбора экспертов, то, очевидно, надо создавать компетентные и авторитетные корпуса экспертов, но этого мало, так как для массовых конкурсов экспертов нужно много. Однако проблему разброса оценок не решить отбором. Как говорил герой В.М. Шукшина, «Два полена и то сгорают неодинаково, а вы хотите, чтоб люди прожили одинаково!» Наилучшее известное решение — проведение «консенсусных сессий», где рецензенты каждой заявки встречаются и обсуждают свои оценки до их полного совпадения ^[5]. Конечно, такой механизм для массовых конкурсов слишком затратен, даже если проводить такие сессии только для полупроходных заявок («серой зоны»).

Более реалистично применять метод Дельфи, организуя заочный обмен информацией между рецензентами или хотя бы одну итерацию такого обмена ^[7]. А именно: при рассылке проектов экспертам их предупреждают, что в случае, если оценки одного из экспертов будут сильно отличаться от остальных (порог задается так, чтобы коррекция затронула не более 3–5% заявок), всем экспертам будут разосланы их оценки с обоснованиями и предложено их скорректировать или уточнить обоснования в течение 2–3 дней. Оценки, которые после коррекции больше всего отличаются от средних значений, отбрасываются.

Обязательно нужно требовать от экспертов объяснения причин, по которым они выставили наивысшую или самую низшую оценку (эти причины не обязательно сообщать авторам). Полезно членам ЭС знать интегрирующее мнение координатора экспертизы по направлению наук, хотя практика Совета по грантам показывает, что мнение руководителей групп экспертов часто не имеет решающего значения.

Что касается экспертной анкеты, мне она даже понравилась: описания градаций примерно соответствуют градациям английской системы REF, пропагандируемой нашими математиками ^[11]: мировой лидер (world-leading); международный уровень (internationally excellent); международно признано (internationally recognised); признано в стране (nationally recognised). Нужно только сделать это соответствие более явным и установить соответствующие баллы (5, 4, 3, 2). Добавление нижнего уровня «недостаточно информации для оценки» считаю приемлемым. Нужно только при отсутствии информации не ставить нулевой балл, а не учитывать данную оценку данного эксперта при усреднении.

Трехэтапная система экспертизы

С учетом перечисленных и других соображений, ниже делается попытка представить контуры трехэтапной системы экспертизы, сочетающей в себе достоинства различных систем.

Система строится на ранжировании заявок по значениям трех групп показателей (критериев):

1) уровень руководителя;

2) уровень (новизна, качество) заявки;

3) уровень реализуемости проекта (складывается из уровня подготовленности коллектива и уровня проработанности плана работ).

Экспертиза проводится в три этапа. На этапе 1 эксперт определяет у каждой заявки по каждому показателю числовое значение уровня, соответствующее следующим градациям показателей:

5 — международное лидерство;

4 — международное признание;

3 — национальное лидерство;

2 — средненациональный уровень;

1 или 0 — неконкурентоспособность;

? — недостаточно информации.

Верхние четыре уровня соответствуют уровням, принятым в британской системе REF. При оценке «недостаточно информации» мнение данного эксперта по данному показателю не учитывается при расчете средних оценок.

Пояснения к уровням: экспертам сообщаются рекомендации, направленные на унификацию требований по областям науки (это не потому, что их компетентность подвергается сомнению, а лишь для того, чтобы повысить сбалансированность их оценок между областей).

Например, по критерию 1 наивысшую оценку рекомендуется ставить, если руководитель имеет значения хотя бы двух из четырех частных показателей не менее, чем на уровне 50% от значений показателей мировых лидеров по данной области науки. В качестве частных показателей можно брать индекс цитирования, индекс Хирша, число публикаций за последние 5 лет в журналах из Q1 (верхней четверти журналов по импакт-фактору для данной области науки), число приглашенных докладов на крупных международных конференциях за последние 5 лет.

На этапе 2 заявки ранжируются по среднему баллу отдельно по каждой области науки. Определяются квоты по каждой области и составляется шорт-лист из 2N заявок, где N — квота победителей по данной области науки.

Дополнительно нужно просматривать весь список, включая, возможно, в шортлист заявки с несколько меньшим средним баллом, но с большим разбросом баллов экспертов. Подготовку данных могут выполнять технические работники (организация, сопровождающая конкурс), но проверять и подписывать шортлисты должны руководители секций ЭС.

Этап 3. Заявки из шортлистов обсуждаются на заседаниях секций ЭС. Если секция разбивается на подсекции, то необходимо, чтобы каждую заявку обсуждало не менее 2–3 экспертов. После обсуждения — тайное голосование, по итогам которого победителями признаются, в соответствии с квотой, N заявок, набравших наибольшее число голосов.

Определение квот — это отдельная задача ^[7]. Демократический подход предлагает РФФИ: выигрывает каждая третья заявка, независимо от области наук. Казалось бы, такой подход универсален. Однако если на входе есть барьер (например, требование превысить порог публикационной активности, как на конкурсах РНФ), то ситуация меняется. Степень фильтрации предсказать трудно, и барьер может оказаться разной высоты. Выровнять пороги можно, меняя квоты.

О классификаторах

О недостатках существующих классификаторов не пишут только самые ленивые. Классификатор должен быть составлен специалистами, но беда в том, что полнота каждого специалиста односторонняя, это еще Козьма Прутков заметил. И если собираются вместе специалисты высокого уровня и начинают что-то предлагать, то каждый не лезет в чужую область, а свою раздувает. Поэтому многие классификаторы, в том числе и предлагаемый комиссией по контролю за реформами в сфере науки, недостаточно сбалансированы и между крупными областями (верхнего уровня), и внутри этих областей.

Вообще, классификатор менять — это трудное, неблагодарное и безнадежное дело. Правильней, если он меняется очень медленно, эволюционно. Я участвовал в обсуждении русификации классификатора OECD в Совете по грантам — мы замучались. Он не нравился всем! В конце концов было решено третий уровень просто не русифицировать.

Полезный пост «Песнь о классификаторах» опубликовал в своем блоге Иван Стерлигов. Вот что он пишет про ГРНТИ ^[12]: «Его фишка в том, что это классификатор не столько науки, сколько российской науки. В нем три уровня, все с отчетливым советским душком». В этом наша беда: каждый классифицирует не науку, а российскую науку, а еще чаще — свое представление о науке. И в большинстве новых областей специалистов в России — с гулькин нос. Что с этим делать? Не знаю.

Все-таки уверен, что классификатор не главная проблема. Да, по хорошему классификатору легче назначать экспертов на заявки. Но их можно назначать и иначе: по ключевым словам. Такой подход отработан, например, организаторами крупнейших конференций IEEE по системам управления (таких конференций ежегодно проводится три: CDC, ACC и MSC, с общим числом докладов около 3 тыс.) ^[9–10].

База данных авторов этих конференций накапливается уже около 20 лет и содержит примерно 70 тыс. людей со своими ключевыми словами, выбранными из списка ключевых слов IEEE, составленного техническими комитетами. Причем автор должен указать слово (фразу) первого, второго и третьего приоритета. Так вот человек, ведущий каждую статью, назначается машиной случайно! Классификатор вообще не нужен.

А сейчас, после прошедших конкурсов в РНФ: сложилась очень удобная ситуация для решения проблемы отбора экспертов, поскольку было подано около 15 тыс. заявок и руководителей многих из них можно приглашать в качестве экспертов. Надо только следить, чтобы эксперты сами удовлетворяли критериям допуска заявок к конкурсу, например по публикационной активности.

Мне кажется, задача повышения уровня экспертизы научных проектов до лучших мировых образцов вполне по плечу организаторам конкурсов. Нужно только прислушиваться к мнениям ученых. Если же эти мнения различаются, то надо их балансировать, а не отвергать под предлогом, что «ученые сами не могут между собой договориться».

1. «Это такие хорошие люди, как им можно не дать денег». Газета.Ру. 16.07.2014. www.gazeta.ru/science/2014/07/16_a_6116337.shtml

2. В ряду нерядовых. РНФ подвел итоги конкурса для существующих научных лабораторий и кафедр. Поиск, № 29-30(2014). www.poisknews.ru/theme/science-politic/11167/

3. Заявление Совета ОНР по итогам конкурса научных групп РНФ. ТрВ-Наука № 155, 03.06.2014. http://trv-science.ru/2014/06/03/zamestitelyu-predsedatelya-soveta-pri-prezidente-rf-po-nauke-i-obrazovaniyu-a-a-fursenko/

4. Цирлина Г.А. Покаянное (заметки об экспертизе проектов в РНФ). ТрВ-Наука № 156, 17.06.2014. http://trv-science.ru/2014/06/17/pokayannoe-zametki-ob-ehkspertize-proektov-v-rnf/

5. Фрадков А.Л. Как это делалось в Брюсселе. Заметки о рецензировании научных проектов. ТрВ-Наука № 60, 17.08.2010. http://trv-science.ru/2010/08/17/kak-eto-delalos-v-bryussele-zametki-ob-ekspertize-proektov-7-j-rp-es/

6. Фрадков А. Л. Блеск и нищета формальных критериев. ТрВ-Наука № 122, 12.02.2013. http://trv-science.ru/2013/02/12/blesk-i-nishheta-formalnykh-kriteriev/

7. Фрадков А. Л. Блеск и нищета формальных критериев научной экспертизы. Управление большими системами. Спец. выпуск 44. Наукометрия и экспертиза в управлении наукой, 2013, с.346–360.

8. Фрадков А.Л. Как опубликовать хорошую статью и отклонить плохую. Автоматика и телемеханика, 2003, № 10, с. 149–157.

Фрадков А.Л. Международные конференции по системам управления: традиции и тенденции. Автоматика и телемеханика, 2011, № 1, с. 174–178.

9. Фрадков А.Л. Научные конференции по управлению: цель или средство? Автоматика и телемеханика, 2012, № 9, с.149–158.

10.  Схема работы системы REF. www.saveras.ru/wp-content/uploads/2014/04/Схема-работы-системы-REF.pdf

11. Стерлигов И. Песнь о классификаторах. http://isterligov.blogspot.ru/2013/09/oecd-wos-scopus.html