РАНеный конкурс

На днях на сайте Минобр­науки были опубликованы итоги конкурса крупных проектов 2020 года [1]. Это был первый массовый конкурс, значимый в масштабах страны, где экспертиза проводилась силами РАН. Силы эти немаленькие: в рекламном проспекте [2] указано, что в составе корпуса экспертов РАН 7265 человек, из них 32% — члены РАН и зарубежных академий, 88% — доктора наук. К сожалению, хотя многие сильные коллективы победили вполне заслуженно, организационный блин вышел комом: к процедуре организации конкурса есть целый ряд нареканий.

Прежде всего техническая база — сайты, куда загружались заявки и где проходило рецензирование, — была низкого качества. При загрузке были неожиданно введены не предусмотренные конкурсной документацией (далее — КД) ограничения на размер содержательных файлов заявки, и текст приходилось срочно и существенно сокращать — резать по живому. При отказе от экспертизы эксперт не имел возможности указать причину отказа. Сайты громоздки и работают медленно. Странно, что не был учтен многолетний опыт работы сайтов конкурсов РФФИ и РНФ — там таких безобразий никогда не было. Надо сказать, что поддержкой конкурса занималась Дирекция НТП (Дирекция научно-технических программ), которая славится неуклюжим сайтом и удивительной бюрократизацией своих конкурсов [3].

Далее стоит отметить, что процедура экспертизы была непрозрачной. В КД написано следующее:

«9.2.7 Экспертиза проводится по критериям, утвержденным экспертным советом, с участием отобранных экспертным советом экспертов федерального государственного бюджетного учреждения „Российская академия наук“ и с привлечением специалистов (экспертов) в соответствующих областях наук и (или) организаций, обладающих необходимым опытом и квалификацией для проведения экспертизы научных проектов. В результате экспертизы заявкам на участие в конкурсе выставляют баллы по каждому критерию».

Как видим, нет указаний, сколько экспертов рецензирует каждую заявку, в каких случаях и сколько привлекается дополнительных специалистов. Поскольку итоговые баллы оказались кратны только целым или полуцелым числам, можно сделать вывод, что каждую заявку рецензировали не более двух экспертов, а общий балл выводился как среднеарифметический. Для сравнения замечу, что при экспертизе мегагрантов каждую заявку рецензируют два российских и два иностранных эксперта и на их рецензии пишет заключение руководитель группы экспертов. Последнее очень важно, так как каждый эксперт — со своим характером, подвержен эмоциям и выставленные им баллы зачастую отличаются от оценки на основании его рецензии.

Заключение руководителя группы экспертов позволяет сбалансировать оценки и в какой-то степени заменяет групповые консультации экспертов (консенсусные сессии [4]). Отметим, что стоимость мегагранта всего 90 млн руб., а стоимость «крупного проекта» — 300 млн руб., т. е. цена ошибки для российской науки в этом конкурсе гораздо больше.

Удивляет и то, что подавляющее большинство заявок получили денег по максимуму — по 100 млн в год. Неужели Санкт-Петербургскому институту истории РАН на проект «История письма европейской цивилизации» тоже нужно почти 300 миллионов? Не отделаться от ощущения непродуманности организации рецензирования.

И наконец, главный изъян — сама организация экспертизы силами РАН. Мне как эксперту РАН в начале июля 2020 года пришло письмо за подписью президента РАН Александра Сергеева с приглашением принять участие в экспертизе. Я, конечно, согласился, но предупредил, что возможен конфликт интересов, так как я сам руковожу проектом, представленным на конкурс по тому же разделу: механика и машиностроение. Через три дня мне прислали два письма с названиями тем проектов и ссылками для доступа к системе рецензирования. Заявки были не по моей области (процессы управления), а по материаловедению, но указать причину отказа от рецензирования система не давала, и я стал раздумывать. Кто и как назначал экспертов, если мне дали проекты по материаловедению, к которому я отношения не имею? Что было бы, если бы я не отказался? Если эксперт, сам участвующий в конкурсе, ставит проекту высокие оценки, он действует против себя, т. е. создается конфликт интересов. И очевидно, возможный конфликт интересов никто не учитывал. Более того, легко можно представить себе, что группа влиятельных лиц, близких к руководству, имеет свои представления об уровне того или иного профильного института или вуза и эти предпочтения заранее определяют и выбор экспертов, и оценку. Беспристрастной экспертизой это назвать нельзя. Вполне может быть, что влиятельные лица взяли да и разделили между собой проекты для рецензирования, договорившись о баллах. Если это не так, то как происходила экспертиза?

Если был переход с широкого конкурса на конкурс по отделениям РАН, то это приводит к неустранимому конфликту интересов, так как внутри отделения все сильные организации известны (обычно они представлены в отделении директорами-академиками). Поэтому и потенциально сильные проекты в научной области отделения известны, и экспертиза становится не внешней, а внутренней.

Однако объективный конкурс проектов внутри вуза или внутри научной организации, если нет внешней экспертизы, невозможен, потому что неистребимо желание дать побольше баллов своему, близкому или знакомому проекту («Ну как не порадеть родному человечку!»). Поэтому, если конкурс проводится внутри небольшого сообщества, где все друг друга знают и имеют возможность договариваться, то это уже не конкурс, а дележка. В данном случае, казалось бы, был шанс сбалансировать решения на финальном этапе, на уровне конкурсной комиссии, рассматривающей все результаты экспертизы сразу. Но и это было невозможно, поскольку конкурсная комиссия занималась только подсчетом и сравнением набранных баллов. Было бы лучше, если бы, как в конкурсе мегагрантов, рецензентов назначала отдельная комиссия и для экспертного совета, принимающего решения, рецензенты были анонимны. Или если бы рецензенты назначались компьютером, как начал делать РНФ. Но такого в документах не видно.

Итог: огромные деньги на науку снова были распределены сомнительным образом. И участие РАН в экспертизе не сделало ее безупречной. Можно ли как-то исправить ситуацию, вылечить этот очень важный для страны конкурс? Думаю, что да. Для этого, на мой взгляд, необходимо провести в жизнь несколько ключевых решений.

Главное из них — заменить в положении о конкурсе конкурсную комиссию министерства на конкурсный совет (экспертную панель), состоящий из всемирно признанных ученых, который и должен определять победителей конкурса на основе результатов экспертизы. Важно, чтобы состав совета удовлетворял следующим условиям:

а) все члены совета должны иметь ученую степень и международно признанную репутацию;

б) члены совета должны быть аффилированы с различными ведомствами (вузами и научными организациями различного подчинения);

в) область компетентности членов совета должна охватывать все области наук, по которым объявлен конкурс;

г) ни один из членов совета (кроме, может быть, председателя совета) не должен занимать высоких административных должностей (директор/ замдиректора, ректор/проректор и т. п.).

Именно экспертный совет, состоящий из квалифицированных ученых, должен готовить положение о конкурсе, настраивать его параметры: квоты для разных областей наук, допустимые границы для числа баллов и т. п. Он же должен определять и состав документации в заявках и отчетах, снижая число формально-бюрократических сведений. Такой подход оправдал себя в конкурсах мегагрантов [5]. В обсуждаемом конкурсе есть экспертный совет, но решения он не принимает.

Требование (г) очень важно по ряду причин. Во-первых, научные администраторы обычно очень заняты и не могут посвятить достаточно времени анализу итогов экспертизы. Во-вторых, каждый администратор представляет свою организацию и по долгу службы должен отстаивать ее интересы, что создает потенциальный конфликт интересов и риск предвзятости в оценке проектов.

Важность принятия мер к исключению потенциального конфликта интересов отмечается в документах Совета по науке, работавшего при Минобрнауки в 2013–2018 годах под руководством Алексея Хохлова, нынешнего вице-президента РАН [6]. На важность фактора непредвзятости и независимости от организации указывается и в правилах экспертизы проектов Еврокомиссии. В памятке экспертам и членам панелей программы FP-7 сказано [4]:

The expert works as an independent person. He/she is deemed to work in a personal capacity and in performing the work does not represent any organization. (Эксперт работает как самостоятельное лицо. Он/она считается работающим под личную ответственность и при выполнении работы не представляет какую-либо организацию.)

К сожалению, в последние годы во многих органах коллегиального руководства наукой в России большинство мест стал занимать «генералитет» (например, в совете РФФИ [7], Межведомственной комиссии по оценке результативности деятельности научных организаций [8] и др.).

Другое важное условие честного современного конкурса — создание и запуск удобной интернет-системы подачи и рецензирования заявок. Нынешние инструменты, идущие от Дирекции НТП, неудобны и должны быть забракованы. Можно даже на первых порах позаимствовать удобные и привычные для многих системы РНФ и РФФИ.

Надеюсь, что руководители вышеупомянутых уважаемых ведомств с пониманием отнесутся к эмоциональной критике в заметке, написанной, что называется, по горячим следам. Хочется надеяться, что при проведении следующего конкурса уровень организации будет соответствовать уровню финансирования победителей. Кстати, а так ли нужны гранты по 300 млн руб.? Станет ли намного меньше научных результатов, если давать победителям «всего лишь» по 150 миллионов? А ведь в этом случае освободится два миллиарда в год, за счет которых можно спасти конкурс «а» РФФИ и успокоить научную общественность…

Александр Фрадков,
зав. лабораторией ИПМаш РАН, сопредседатель совета ОНР

1. Протокол № 2020–1902–01–3 от 28 июля 2020 г. оценки заявок на участие в конкурсном отборе на предоставление грантов в форме субсидий на проведение крупных научных проектов по приоритетным направлениям научно-технологического развития
2. Институт независимой экспертизы Российской академии наук (pdf, 19 Мб)
3. ФЦП ИР: новое вино в старые мехи
4. Фрадков А. Л. Как это делалось в Брюсселе. Заметки об экспертизе проектов 7-й РП ЕС // ТрВ-Наука. № 60 от 17 августа 2010 года.
5. Фрадков А. Л. Идеальная экспертиза // ТрВ-Наука. № 159 от 29 июля 2014 года.
6. Ключевые принципы организации экспертизы при проведении конкурсов научных проектов, 31.01.2017 / Сайт Совета по науке при Минобрнауки
7. Совет РФФИ
8. МВК по оценке результативности деятельности научных организаций

↑

«Роль Академии наук заключалась только в передаче списка потенциальных экспертов»

В Академии наук не подтверждают тезис, что экспертизу конкурса проводила Академия наук. Представители РАН подчеркивают, что конкурс проводило Министерство высшего образования и науки в соответствии с Постановлением Правительства РФ от 27 декабря 2019 года № 1902. Его 24-й пункт говорит о том, что второй этап (содержательная экспертиза) осуществляется членами экспертного совета Министерства с участием отобранных советом экспертов Российской академии наук. Для этого Академией наук был проведен специальный опрос научного сообщества, в результате чего был получен предварительный список в 3500 человек. Из них 1883 человека были новыми, никогда не участвовавшими в экспертизе проектов РАН. После отбора кандидатов по наукометрии и другим критериям в Минобрнауки был направлен список экспертов в количестве чуть более 1000 человек.

Кандидаты были отобраны специально для этого конкурса. Академия наук предоставила их список в экспертный совет конкурса Минобрнауки, для того чтобы члены совета при определении, кто будет проводить экспертизу той или иной заявки, могли привлекать по своему усмотрению тех или иных экспертов, которых предложила РАН. На этом роль Российской академии наук в осуществлении экспертизы закончилась.

Все экспертные действия осуществлялись членами совета, а информационно-техническое обеспечение осуществляла Дирекция НТП. Как раз она, внутри своей электронной системы, осуществляла назначение экспертизы тем экспертам, которых назначал тот или иной член совета.

Российская академия наук, ее структурные подразделения, отделения РАН не привлекались и не участвовали в экспертизе ни на основании нормативной базы, ни фактически. Члены совета — это ведущие ученые страны, часть из них имеют статус академиков, но они действовали в личном качестве, а не как представители РАН.

О независимости конкурса от РАН может свидетельствовать хотя бы тот факт, что гранты не получили многие ведущие академические институты. Впервые министерство проверяло более 700 поступивших заявок на плагиат и самоплагиат; как раз из-за наличия последнего некоторые ведущие вузы и институты РАН не получили грантов. Для экспертизы было отобрано 300 заявок. Те недостатки, которые были отмечены в статье А. Л. Фрадкова, мои собеседники связывают с нехваткой времени на проведение конкурса, невозможностью провести его в привычных условиях из-за пандемии и некоторыми логистическими ошибками, допущенными организаторами в условиях жесткого дефицита времени в разгар сезона отпусков. Министерство стремилось успеть завершить конкурс до конца бюджетного года. Тем не менее коллеги считают, что победили в самом деле сильнейшие. Хотя недовольных среди проигравших много. Из них академическая часть считает, что если бы экспертизу в конкурсе проводила РАН, то они оказались бы заслуженными победителями. Вузовская же часть считает, что Академия наук перетянула одеяло на себя.

Н. Д.