докт. физ.-мат. наук, зам. директора Института теоретической физики им. Л. Д. Ландау РАН, член Рабочей группы ФАНО по определению методики и регламентов оценки результативности деятельности научных организаций
С лета 2014 года действует рабочая группа ФАНО по разработке детальных правил проведения оценки результативности научно-исследовательской деятельности научных организаций, вошедших в состав ФАНО после известных событий лета-осени 2013 года. Задача рабочей группы — создать свод правил, согласующихся с общими положениями, уже утвержденными документами правительства РФ [1], и, несмотря на это, позволяющих проводить оценку осмысленным, с точки зрения работающих в науке людей, образом — то есть учитывая содержание научной и исследовательской работы, а не только комбинации разного рода формальных показателей. В рабочей группе трудится более 20 представителей различных отраслей науки под общим руководством ФАНО. К настоящему времени документация практически полностью готова, во вполне обозримом будущем ожидается ее утверждение. Представляется уместным уже сейчас, перед летними отпусками, рассказать об основных заложенных в нее принципах, чтобы ученые коллеги имели время и возможность обдумать то, что будет происходить, и найти свое место в этом процессе. Вот эти принципы.
- Принимается примат экспертной оценки над «нумерологической»: формальные показатели (число статей и/или патентов, объем вырученных от разработок средств, число док-торов наук или аспирантов и многое другое) будут собираться и приниматься во внимание при оценке, но лишь как часть сведений, не-обходимых для профессионального экспертного анализа.
- Экспертный анализ может быть профессиональным лишь в том случае, если имеется механизм, позволяющий сопоставить область работы научного коллектива (объекта оценки) и эксперта, призванного эту работу оценивать. Иначе говоря, требуется современный рубрикатор (классификатор) областей научной и научно-технической деятельности. Такой рубрикатор был создан [2], несколько месяцев продолжалось его публичное обсуждение и согласование с отделениями РАН.
- Экспертный анализ нескольких сотен научных организаций, входящих в ФАНО, требует большого количества экспертов, причем крайне существенно, чтобы они пользовались доверием коллег именно как достойные эксперты в своей научной области. Поэтому полный корпус экспертов ФАНО будет сформирован путем обращения к ученым (научно-техническим) советам всех организаций ФАНО с предложением выдвинуть экспертов по каждому из научных направлений данной организации (определенных рубрикатором) и предоставить минимально необходимый набор профессиональных сведений о каждом эксперте.
- Сравнительная оценка результативности будет проводиться внутри так называемых референтных групп (РГ) научных организаций, которые должны быть сформированы по принципу близости областей их научной деятельности и типов получаемых результатов (фундаментальные исследования, технологические разработки, научно-технические услуги и т. п.). Рабочей группой ФАНО выработаны предложения по формированию РГ [3].
- Для каждой такой референтной группы должен быть сформирован свой экспертный совет (ЭС), организующий процедуры оценки каждой входящей в РГ организации. Основная тяжесть работы ложится именно на эти советы. Общий контроль за процессом и утверждение (или требование коррекции) результатов работы ЭС возлагается на единую комиссию по оценке результативности при ФАНО. Комиссия и ЭС действуют в соответствии с детальным общим регламентом оценки.
- Каждый ЭС формируется из числа экспертов ФАНО с научными специализациями, отвечающими данной РГ, путем рейтингового голосования среди всех экспертов, принадлежащих этой РГ. Ожидается, что таким образом из общего числа экспертов, относящихся к данной РГ (примерно 50–100), будет отобрано 10–15 членов ЭС.
- Для оценки организации ЭС РГ назначает экспертов по каждому на-правлению работы организации (определенному рубрикатором), а также небольшую экспертную группу для обобщения результатов оценки — из числа всех экспертов, относящихся по специальности к данной РГ. Назначение производится по принципу соответствия научных специализаций и с учетом необходимости исключения конфликта интересов; это понятие определено Регламентом весьма конкретно.
- При оценке многопрофильных и междисциплинарных организаций неизбежно часть направлений окажется вне компетенции ЭС РГ, к которой отнесена организация. Эксперты по таким направлениям должны назначаться по рекомендации других, профильных советов.
- В ряде случаев (низкие формальные показатели организации, несогласие организации с ее оценкой в целом) должна быть реализована более детальная оценка, включающая экспертизу работы каждого подразделения.
В апреле 2015 года начат одновременный опрос представителей всех естественных наук с целью пополнения «Корпуса экспертов» [4]. За два года, прошедших после последнего специализированного опроса, существенно пополнился и продолжает пополняться список рекомендателей (известных также как «списки Штерна») [5] — сейчас в нем более 7 тыс. человек, и он включает, наряду с работающими в России, также и представителей диаспоры.
В каждую рассылку включается около 500 человек, всего до летних каникул предполагается провести пять рассылок, а затем продолжать опрос осенью. Рассылки формируются в порядке включения рекомендателей в списки [5]. Рекомендации можно дать по почте [email protected] или онлайн, используя полученный код доступа (бессрочный). К сожалению, иногда наши письма не пропускают спам-фильтры.
В мае были также разосланы письма специалистам, уже получившим пять и более рекомендаций коллег, с просьбой о согласии войти в «Корпус экспертов» [4] — он постепенно пополняется.
Обращаем внимание рекомендателей на необходимость очень тщательно определить специализацию — как свою, так и рекомендуемых в эксперты коллег — по Единому научному рубрикатору [2], который будет использоваться ФАНО. Естественные науки — в разделе А, можно указывать коды и из других разделов.
Рабочая группа проекта «Корпус экспертов»
Все эти принципы заложены в созданных проектах документов, причем пути их реализации детально прописаны. Возможно, предложенная процедура многим покажется слишком сложной, особенно из-за некоторых ее витков, вынужденно введенных для соблюдения утвержденных Минобрнауки общих правил оценки. Она может также вызвать раздражение необходимостью представить содержательные сведения для экспертной оценки («еще бумаги… опять бумаги»). Однако следует понимать, что в отсутствие такой четко фиксированной экспертной процедуры оценка научных организаций будет развиваться по сценарию арифметического подсчета формальных показателей, что наверняка не оставит камня на камне от многих еще сохранившихся научных коллективов. Следует также иметь в виду, что привычно-упрощенная организация оценки узким кругом научных администраторов оказалась бы, как это обычно и бывало ранее, лишь имитацией экспертизы.
Соображения по поводу экспертной оценки, использованные при работе над документацией, основаны на восьмилетнем опыте функционирования инициативного проекта «Корпус экспертов по естественным наукам» [4]. Именно на основе данных этого проекта удалось составить первичную версию рубрикатора, оценить различия в публикационной активности и цитировании для разных научных направлений (а не просто для областей знания), представить себе, как на практике может работать процедура выдвижения экспертов и что требуется от регламента экспертизы. Позднее удалось найти коллег из других областей науки (гуманитариев, инженеров, медиков), которые помогли учесть специфику своих областей.
Сложно предсказать, как будет развиваться процесс оценки и в какой степени удастся соблюдать регламент, даже если он будет утвержден без искажений. Но в значительной степени это зависит сейчас от самого «объекта оценки», то есть от всех нас. Прежде всего — и лучше заранее — в каждой научной организации нужно однозначно определить все основные и дополнительные научные направления по рубрикатору, чтобы не оказаться в референтной группе, не соответствующей реальной деятельности организации. Затем необходимо продумать список коллег, которые будут предложены ученым советом как эксперты по всем направлениям работы института. Следует иметь в виду, что в составе каждого ЭС должна быть определенная доля специалистов, работающих вне институтов ФАНО. Поэтому существенно, чтобы ученые советы рекомендовали как экспертов не только сотрудников институтов ФАНО: почти всегда можно отыскать подходящих по профилю и научно авторитетных коллег из вузов или НИИ или же из числа коллег, работающих в настоящее время вне Российской Федерации.
1. http://government.ru/docs/8002/
2. http://rascommission.ru/rubricator
Удручает то, подход к оценке результативности и эффективности институтов не научный, а формально-бюрократический. На самом деле количественные оценки деятельности научных учреждений давно разработаны, можно было бы не изобретать кривой велосипед с квадратными колесами. Реально объективных критериев два: а) стоимость единицы импакт-фактора и б) стоимость единицы цитирования опубликованных работ. Значения этих величин легко вычисляются за 5-летний период, где в числителе а) сумма импакт-факторов журналов, где опубликованы статьи, и б) общее число ссылок, а в знаменателе — общая сумма госбюджетных средств, затраченных за тот же период на финансирование этого института. Импакт-факторы можно брать как из базы WoS, так и Scopus, это непринципиально, их следует скорректировать стандартной процедурой (как и число ссылок) исходя из места институтских авторов в общем списке. При такой системе расчета не требуется учитывать ни численность сотрудников, ни их распределение по ставкам, возрасту и т.д. Собственно, государство, если оно с мозгами, должно задавать главный вопрос ученым: «- я вам в такой-то институт за такой-то период отвалило столько-то денег — отчитайтесь конкретно, что за эти деньги вы смогли сделать». При таком объективном подходе не нужны и т.наз. «референтные группы», вместо этого достаточно ранжировать институты по доле печатной продукции в рецензируемых журналах (это легко вычислить), а также оценить средний импакт-фактор журналов данной области науки, в которой работает институт. При таком подходе можно вполне объективно сравнивать институты из разных областей науки и даже разных стран.
Можно согласиться с тем, что экспертная оценка института будет играть главную роль, но и здесь удручает то, что регламент работы экспертов, в отличие от многоуровневой процедуры из назначения, никак не разработан. А это и есть самое важное. Например, один эксперт заявит: » — оборудование в Институте современное, но молодежи мало, Институт бесперспективный». А второй эксперт заявит: » — молодежи в Институте мало, но оборудование современное, Институт надо сохранить». И что дальше — опять окончательное решение будут принимать чиновники ФАНО и МОН, по критериям — кто больше поднесет или больше пообещает? Похоже, что они и лепят свою нелепую «методику оценки эффективности» институтов, чтобы придти к этому желаемому для них финалу. Жаль, что многие вполне приличные ученые согласились быть вольными или невольными соучастниками этой профанации.
Вы предлагаете заведомо неработоспособную схему. Рассмотрим простой пример. Организация №1 занимается исследованием бактериальных инфекций, организация №2 занимается исследованием вирусных инфекций, организация №3 занимается исследованием в области гнойной хирургии, организация №4 занимается исследованием паразитарных инвазий. Все они очевидно попадают в одну и ту же референтную группу. Но что происходит дальше?
А дальше самое интересное! Импакт-факторы журналов в области вирусологии достигают 10-15, в то время как в бактериологии 5-10, а в хирургии 2-5, а в паразитологии не более 2.
Ну и как вы собираетесь ранжировать институты? Очевидно НИИ вирусологии окажется впереди планеты всей, бактериологи туда-сюда, гнойные хирурги так себе, а паразитологи никуда не годны?
И какой вывод будет из такого ранжирования? Все деньги направить на изучение вирусных инфекций, бактериальные инфекции так и быть пусть худо-бедно изучают, гнойную хирургию как специализированное направление закрыть и присоединить к каким-нибудь обычным хирургам-травматологам, а паразитологию как науку ликвидировать к чёртовой бабушке?
А теперь к вам вопрос, вы не боитесь самому или вашим родным оказаться с гнойным перитонитом от аппендицита в обычной больничке в условиях когда в стране нет гнойной хирургии и нет никакого научного обоснования мониторинга внутрибольничных устойчивых к антибиотикам стафилококков? Вы готовы рискнуть уничтожить в стране целое направление научных исследований только потому, что в этой области цитирование и импакты не так высоки, как в вирусологии? Вы готовы рисковать жизнями?
А не желаете ли оказаться с малярийным плазмодием в печени устойчивым к хлорохину при отсутствии в стране специалистов по малярийным штаммам? Только представьте, вы с желтухой в больнице под лошадиными дозами хлорохина в тяжёлой лихорадке с отказывающими от гемоглобинурии почками, а доктор вам и говорит: «вот если бы сохранили институт паразитологии, мы бы ваш анализ крови туда отправили, там бы точно выяснили какой у вас штамм плазмодия по коллекции и мы бы начали специализированное лечение. А так могу предложить вам хининчику принять, но возможны осложнения, отказ почек, ишемия, инсульт и летальный исход. Но ничего не поделаешь, голубчик, импакт-фактор паразитологических журналов низковат, закрыли в России паразитологию. Вот если бы вы гриппом заболели или ещё чем вирусным, то мы бы вас, голубчик, в два счёта на ноги поставили, вирусология у нас развита. А с малярией вы… ну как, выписать вам хинину, рискнёте попринимать?»
Все эти разговоры про «корпус экспертов» и их роль в оценке всего и вся от лукавого. Суровая правда в том, что этих «икспертов» используют по старинке, как «полезных идиотов». Их сегодняшняя спесивая болтовня про «агентов и реагентов» и высокомерное всезнайство завтра будут использованы чиновниками против реальных исследователей. Причем использованы совсем не в том смысле, который «научные болтуны» и «ученые стриптезеры» имели в виду. Короче, мы имеем дело с «соучастниками и подельниками».
Изучил подробно рубрикатор по географии. Слишком подробен — число рубрик много больше, нежели число крупных географов. Наряду с реальными крупными направлениями крошечные полусуществующие разделы и вовсе не существующие. Никакой соразмерности нет. Картография представлена 14 рубриками, а культурная и историческая география даны нерасчлененно. «Экономическая география» и «социальная география» рубрицированы абсурдно. Есть гидрология, но нет океанологии. Есть экологическая экспертиза, но нет экологической. Важнейших сложившихся, центральных разделов географии НЕТ ВООБЩЕ — нет общей географии, географического землеведенияя, изучения географической оболочки, географии биосферы, исследований культурного ландшафта. Etc..
Ребята, давайте свои(разумные) рекомендации: что делать.
А просто критиковать- это маловато для решения вопроса,
который уже поставлен и решаться будет во что бы то ни стало..
Мои рекомендации приведены выше.
А ваши?
Жду…(ух уж я оттянусь на критике…, шутка)