Отчет председателя Экспертного совета Комиссии по оценке результативности деятельности научных организаций, подведомственных ФАНО России по референтной группе 08 «Физическая химия, химическая физика, полимеры»

По предложению председателя Экспертного совета Комиссии по оценке результативности деятельности научных организаций, подведомственных ФАНО России по референтной группе 08 «Физическая химия, химическая физика, полимеры», профессора Сколковского института науки и технологий, докт. физ.-мат. наук А. А. Бучаченко публикуем отчет о деятельности Экспертного совета. Приглашаем другие экспертные комиссии присоединиться к инициативе профессора Бучаченко и опубликовать свои отчеты.

В задачу работавшего на общественных началах Экспертного совета (ЭС), утвержденного Комиссией по оценке результативности деятельности научных организаций, подведомственных ФАНО России (далее Комиссией), входило проведение экспертного анализа деятельности научных организаций, указавших референтную группу 08 как релевантную для их научного направления, и подготовка на этой основе предложений о предварительном отнесении научной организации к одному из трех профилей деятельности (I — «Генерация знаний», II — «Разработка технологий», III — «Научно-технические услуги») и к одной из трех категорий в рамках этого профиля. Эта деятельность велась в «соответствии с приказом ФАНО России от 18 апреля 2016 года № 179 «О Комиссии по оценке результативности деятельности научных организаций, подведомственных ФАНО России, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» (далее – Комиссия), приказом ФАНО России от 26 июня 2015 года № 22н «Об утверждении Методики оценки результативности деятельности научных организаций, подведомственных ФАНО России» (далее – Методика) (в редакции, утвержденной Приказом ФАНО России от 5 сентября 2016 года 43-н), Положением об экспертных советах референтных групп Комиссии, утвержденным Протоколом заседания Комиссии № 2 от 24.06.2016, распоряжением ФАНО России от 25.04.2017 № 111 «О внеочередной оценке результативности деятельности научных организаций, подведомственных Федеральному агентству научных организаций»» [1].

Референтная группа 08 была выбрана 22 организациями, из них как основная – 13 организациями. Оценка проводилась по представленным организациями сведениям о результатах деятельности за 2013–2015 гг. и дополнительным сведениям по запросу Комиссии [1]. ЭС вменялся также учет заключений о деятельности научных организаций, поступивших из Отделений РАН, и результатов наукометрического мониторинга ФАНО. Предполагалось, что ЭС по референтной группе, выбранной организацией в качестве основной, будет учитывать результаты экспертизы по референтным группам, выбранным как дополнительные. Однако соответствующие рекомендации в ЭС не поступили. Поскольку судьба рекомендаций ЭС по 9 организациям, выбравшим группу 08 как дополнительную, не ясна, данный отчет касается только 13 организаций, выбравшим референтную группу 08 как основную.

Утвержденный Комиссией ЭС состоял из 15 членов, один из которых был освобожден от работы по состоянию здоровья. Среди 14 членов ЭС двое аффилиированы с организациями РАН, не входящими в референтную группу 08. Члены и председатель ЭС декларировали конфликты интересов в отношении конкретных организаций и в дальнейшем не участвовали в их экспертизе, а на стадии голосования по конечным рекомендациям воздерживались. По каждой организации были назначены эксперты, зарегистрированные ФАНО и утвержденные РАН, с соблюдением анонимности. Информации о нарушении конфиденциальности в ЭС не поступало. Всего было назначено 49 экспертиз и получено 37 экспертных заключений по форме, разработанной Комиссией. От 12 экспертов либо поступили отказы, в частности, из-за конфликта интересов, либо заключение не поступило в указанный срок. По каждой организации было получено от двух до четырех экспертных заключений. Выставленные экспертами баллы обрабатывались по методике Комиссии как в целом, так и по трем заданным профилям, выбранным организацией [2]. Лишь одна организация выбрала профиль, отличный от I, но ЭС признал этот выбор некорректным. Все организации рассматривались по профилю I — «Генерация знаний». Предварительные рекомендации по каждой организации готовились 3 членами ЭС, затем обсуждались коллегиально. Конечные рекомендации и экспертные заключения ЭС принимались открытым голосованием. В голосовании приняло участие 12 членов ЭС, председатель правом двух голосов не пользовался. По регламенту решение считалось принятым при поддержке простым большинством, т. е. не менее чем 8 голосов «за».

Результаты экспертизы в части, лежащей в компетенции ЭС, представлены в таблице. Во втором столбце дано число поступивших экспертных заключений, в третьем и четвертом – нормированные на максимум средние баллы, выставленные экспертами в целом и по профилю «Генерация знаний», соответственно. Четвертый столбец – рекомендованная категория. В трех последних столбцах представлены результаты голосования. Рекомендации переданы в Комиссию.

Считая, что в рамках процедуры, материалов и ресурсов, определенных и предоставленных заказчиком экспертизы, поставленная задача выполнена максимально квалифицировано и непредвзято, нельзя не выразить опасения в связи с возможным использованием результатов как основы для решений организационно-административного характера.

1. Дистанционная «бумажная» форма недостаточна для всесторонней институциональной оценки. Представленные организациями отчеты и сведения содержат больше формальной, чем сущностной информации, не всегда полны, точны и качественны, хорошо структурированы по научным направлениям.
2. Сущностные критерии отнесения организации к одной из трех категорий недостаточно четко сформулированы.
3. При широком разнообразии научных направлений, объединенных в референтной группе, отсутствовал какой-либо более детальный их классификатор. В результате эксперты и члены ЭС могли руководствоваться преимущественно собственным пониманием уникальности и ценности конкретных научных направлений, представленных в конкретной организации.
4. Пул экспертов, предоставленный заказчиком экспертизы, был очень узок и не покрывал все разнообразие научных направлений референтной группы. В отсутствие классификатора эксперты назначались по принципу наибольшего соответствия главным научным направлениям организации, что не могло не сказаться на глубине и всесторонности экспертного анализа и ставило в неравное положение крупные междисциплинарные институты и небольшие институты с узким научным профилем.
5. Неопределенности в процедуре, документации и сроках не способствовали планомерной работе ЭС.

При этих недостатках ЭС воздерживался от радикальных заключений и рекомендаций в отношении конкретных научных направлений, структурных подразделений, научных групп и тем более персоналий. В целом проведенную экспертизу нельзя признать полноценной «экспертизой по существу». Она скорее модерирует формально-бюрократическую и наукометрическую оценки толикой здравого смысла.

Спасибо экспертам, предоставившим свои заключения, а также сотрудникам ФАНО, в первую очередь Е. А. Гудковой, за помощь в организации работы.

Председатель ЭС по референтной группе 08, профессор Сколковского института науки и технологий, докт. физ.-мат. наук Бучаченко А.А.

1. Цитируемая литература доступна по ссылке fano.gov.ru/ru/activity/assessment/