докт. физ.-мат. наук, зам. директора Института теоретической физики им. Л. Д. Ландау РАН, член Рабочей группы ФАНО по определению методики и регламентов оценки результативности деятельности научных организаций
С лета 2014 года действует рабочая группа ФАНО по разработке детальных правил проведения оценки результативности научно-исследовательской деятельности научных организаций, вошедших в состав ФАНО после известных событий лета-осени 2013 года. Задача рабочей группы — создать свод правил, согласующихся с общими положениями, уже утвержденными документами правительства РФ [1], и, несмотря на это, позволяющих проводить оценку осмысленным, с точки зрения работающих в науке людей, образом — то есть учитывая содержание научной и исследовательской работы, а не только комбинации разного рода формальных показателей. В рабочей группе трудится более 20 представителей различных отраслей науки под общим руководством ФАНО. К настоящему времени документация практически полностью готова, во вполне обозримом будущем ожидается ее утверждение. Представляется уместным уже сейчас, перед летними отпусками, рассказать об основных заложенных в нее принципах, чтобы ученые коллеги имели время и возможность обдумать то, что будет происходить, и найти свое место в этом процессе. Вот эти принципы.
- Принимается примат экспертной оценки над «нумерологической»: формальные показатели (число статей и/или патентов, объем вырученных от разработок средств, число док-торов наук или аспирантов и многое другое) будут собираться и приниматься во внимание при оценке, но лишь как часть сведений, не-обходимых для профессионального экспертного анализа.
- Экспертный анализ может быть профессиональным лишь в том случае, если имеется механизм, позволяющий сопоставить область работы научного коллектива (объекта оценки) и эксперта, призванного эту работу оценивать. Иначе говоря, требуется современный рубрикатор (классификатор) областей научной и научно-технической деятельности. Такой рубрикатор был создан [2], несколько месяцев продолжалось его публичное обсуждение и согласование с отделениями РАН.
- Экспертный анализ нескольких сотен научных организаций, входящих в ФАНО, требует большого количества экспертов, причем крайне существенно, чтобы они пользовались доверием коллег именно как достойные эксперты в своей научной области. Поэтому полный корпус экспертов ФАНО будет сформирован путем обращения к ученым (научно-техническим) советам всех организаций ФАНО с предложением выдвинуть экспертов по каждому из научных направлений данной организации (определенных рубрикатором) и предоставить минимально необходимый набор профессиональных сведений о каждом эксперте.
- Сравнительная оценка результативности будет проводиться внутри так называемых референтных групп (РГ) научных организаций, которые должны быть сформированы по принципу близости областей их научной деятельности и типов получаемых результатов (фундаментальные исследования, технологические разработки, научно-технические услуги и т. п.). Рабочей группой ФАНО выработаны предложения по формированию РГ [3].
- Для каждой такой референтной группы должен быть сформирован свой экспертный совет (ЭС), организующий процедуры оценки каждой входящей в РГ организации. Основная тяжесть работы ложится именно на эти советы. Общий контроль за процессом и утверждение (или требование коррекции) результатов работы ЭС возлагается на единую комиссию по оценке результативности при ФАНО. Комиссия и ЭС действуют в соответствии с детальным общим регламентом оценки.
- Каждый ЭС формируется из числа экспертов ФАНО с научными специализациями, отвечающими данной РГ, путем рейтингового голосования среди всех экспертов, принадлежащих этой РГ. Ожидается, что таким образом из общего числа экспертов, относящихся к данной РГ (примерно 50–100), будет отобрано 10–15 членов ЭС.
- Для оценки организации ЭС РГ назначает экспертов по каждому на-правлению работы организации (определенному рубрикатором), а также небольшую экспертную группу для обобщения результатов оценки — из числа всех экспертов, относящихся по специальности к данной РГ. Назначение производится по принципу соответствия научных специализаций и с учетом необходимости исключения конфликта интересов; это понятие определено Регламентом весьма конкретно.
- При оценке многопрофильных и междисциплинарных организаций неизбежно часть направлений окажется вне компетенции ЭС РГ, к которой отнесена организация. Эксперты по таким направлениям должны назначаться по рекомендации других, профильных советов.
- В ряде случаев (низкие формальные показатели организации, несогласие организации с ее оценкой в целом) должна быть реализована более детальная оценка, включающая экспертизу работы каждого подразделения.
В апреле 2015 года начат одновременный опрос представителей всех естественных наук с целью пополнения «Корпуса экспертов» [4]. За два года, прошедших после последнего специализированного опроса, существенно пополнился и продолжает пополняться список рекомендателей (известных также как «списки Штерна») [5] — сейчас в нем более 7 тыс. человек, и он включает, наряду с работающими в России, также и представителей диаспоры.
В каждую рассылку включается около 500 человек, всего до летних каникул предполагается провести пять рассылок, а затем продолжать опрос осенью. Рассылки формируются в порядке включения рекомендателей в списки [5]. Рекомендации можно дать по почте [email protected] или онлайн, используя полученный код доступа (бессрочный). К сожалению, иногда наши письма не пропускают спам-фильтры.
В мае были также разосланы письма специалистам, уже получившим пять и более рекомендаций коллег, с просьбой о согласии войти в «Корпус экспертов» [4] — он постепенно пополняется.
Обращаем внимание рекомендателей на необходимость очень тщательно определить специализацию — как свою, так и рекомендуемых в эксперты коллег — по Единому научному рубрикатору [2], который будет использоваться ФАНО. Естественные науки — в разделе А, можно указывать коды и из других разделов.
Рабочая группа проекта «Корпус экспертов»
Все эти принципы заложены в созданных проектах документов, причем пути их реализации детально прописаны. Возможно, предложенная процедура многим покажется слишком сложной, особенно из-за некоторых ее витков, вынужденно введенных для соблюдения утвержденных Минобрнауки общих правил оценки. Она может также вызвать раздражение необходимостью представить содержательные сведения для экспертной оценки («еще бумаги… опять бумаги»). Однако следует понимать, что в отсутствие такой четко фиксированной экспертной процедуры оценка научных организаций будет развиваться по сценарию арифметического подсчета формальных показателей, что наверняка не оставит камня на камне от многих еще сохранившихся научных коллективов. Следует также иметь в виду, что привычно-упрощенная организация оценки узким кругом научных администраторов оказалась бы, как это обычно и бывало ранее, лишь имитацией экспертизы.
Соображения по поводу экспертной оценки, использованные при работе над документацией, основаны на восьмилетнем опыте функционирования инициативного проекта «Корпус экспертов по естественным наукам» [4]. Именно на основе данных этого проекта удалось составить первичную версию рубрикатора, оценить различия в публикационной активности и цитировании для разных научных направлений (а не просто для областей знания), представить себе, как на практике может работать процедура выдвижения экспертов и что требуется от регламента экспертизы. Позднее удалось найти коллег из других областей науки (гуманитариев, инженеров, медиков), которые помогли учесть специфику своих областей.
Сложно предсказать, как будет развиваться процесс оценки и в какой степени удастся соблюдать регламент, даже если он будет утвержден без искажений. Но в значительной степени это зависит сейчас от самого «объекта оценки», то есть от всех нас. Прежде всего — и лучше заранее — в каждой научной организации нужно однозначно определить все основные и дополнительные научные направления по рубрикатору, чтобы не оказаться в референтной группе, не соответствующей реальной деятельности организации. Затем необходимо продумать список коллег, которые будут предложены ученым советом как эксперты по всем направлениям работы института. Следует иметь в виду, что в составе каждого ЭС должна быть определенная доля специалистов, работающих вне институтов ФАНО. Поэтому существенно, чтобы ученые советы рекомендовали как экспертов не только сотрудников институтов ФАНО: почти всегда можно отыскать подходящих по профилю и научно авторитетных коллег из вузов или НИИ или же из числа коллег, работающих в настоящее время вне Российской Федерации.
1. http://government.ru/docs/8002/
2. http://rascommission.ru/rubricator
А оценку по лабораториям отстоять не удалось? Был ведь вроде пилотный проект, по крайней мере в биологии под руководством Георгиева.
Меня больше всего смущает, навязанная ФАНО
«Сравнительная оценка результативности»
которая
«будет проводиться внутри так называемых референтных групп (РГ) научных организаций, которые должны быть сформированы по принципу близости областей их научной деятельности и типов получаемых результатов (фундаментальные исследования, технологические разработки, научно-технические услуги и т. п.)».
Полагаю, что когда эксперты (поди их еще раздобуть для 30-50тыс. НИИ) оценят НИИ,
то оценка, полученная в неких у.е., в итоге, д.б. количественной.
Это значит, что д.б. выработаны количественные критерии!!
Так вот эти количественные критерии совершенно не прописанные в предлагаемом проекте Фейгельмана!!
Тут нужна, видимо, многолетняя совместная работ всего корпуса экспертов.
Только тогда возможно сопоставление в референтных группах.
Кроме того, ничего не сказано,
по какому уровню оценок НИИ будут признаны малоэффективными, и куда их девать….
Как ФАНО решит????
Жду от Раб группы Фейгельмана доработки…
(еще пару лет, видимо).
Проект перечня РГ, представленный по ссылке [3], весьма несовершенен.
К примеру, что в нем вообще нет Почвоведения или Палеонтологии, наук в России достаточно сильно развитых. Вся «организменная биология» оказалась в одной РГ с генетикой и вирусологией, да и почвоведам, видимо, придется там же разместиться. Земледелие/сельхознауки (Г) оказались раздроблены на 5 РГ, а исторические науки и искусствоведение (и музыка) оказались в одной…
Можно себе представить затруднения экспертов, если «экспертная оценка» действительно окажется ведущим показателем. И совсем случится катастрофа, если вирусологов и почвоведов начнут сравнивать по формальной наукометрии.
В общем сильно недоработан этот проект.
Мягко говоря не самая подробная классификация. И не то чтобы очень удачная. По всей видимости, ставилась задача разбить институты на группы равные по числу. Сравнивать НИИ с факультетами, в общем то логично, но хорошо бы именно с многопрофильными(про которые в6,11,15) И кстати да, вирусологи, генетики и почвоведы с ботаниками в 1 категории это сильно…
А еще кстати, как то напоминает классификацию «Корпуса экспертов»… Жалко они не стали по лабораториям делать, классификатор «Корпуса» дальше в общем то неплохой.
А вспомни, Зин, мои предложения по экспресс-оценке результативности НИИ.
Я предлагал оценивать результативность по среднегодовому доходу научных сотрудников (исключая администрацию).
При этом весь коллектив НИИ следует разбить на группы(лаборатории), для которых и вычисляется средний доход на человека.
Если, Например, средний доход на раб. душу порядка среднего по региону или выше его, то считай, что коллектив результативен и работоспособен.
Если средний доход в группе мал, там и надо разбираться почему.
—
Правда есть нюанс!
Обычно средний доход велик у тех, кто имеет гранты и гос. контракты.
Но ведь известно, что такие (скажем, заказные) работы в научном плане часто малоинтересны!
Вот такой парадокс: если ученым платят то уж явно не за науку!!!
—
Вот и крутись, сочетая заказы и науку.
Эта суета и называется жизнь!!!!
А как иначе?
Не возиться же месяцами с этими «понаехавшими» экспертами,
которых на всех и вся не явно хватит,
в тщетных попытках оценить результативность всего НИИ???????
Ученые должны разработать систему оценки деятельности самой ФАНО и ее подразделений.
о!!да, нужно по доходам оценивать результативность научного сотрудника!)) Ура!
Вот это правильный критерий! Я даже лучших ученых в этой области знаю — достаточно открыть Форбс!
Главный критерий — законность. Соответствие принятых руководством институтов в прежнем статусе решений, уставных документов — нормам ТК, ГК, К РФ, «Закону о науке». Проверить все претензии, обеспечить открытость, гласность проверки. Что до экспертизы — она тоже должна проводиться по ясным правилам, а не в духе: «так я вижу». Нужен грамотно составленный правовой акт, действенный контроль за его применением, не то, что было в предыдущих мониторинга РАН, когда одни (проверяемые) делали вид, что у них всё хорошо, а другие (проверяющие) делали вид, что верят.
Взгляд соучастника процесса…
Грустно видеть, как люди пытаются «вдохнуть смысл» в бюрократические процедуры.
Никипелов прав. Это «соучастие в уничтожении науки».
Трудно представить в роли М.Фейгельмана Л.Ландау.
Тем более Капицу
Ландау как раз был весьма склонен отклассифицировать кого-нибудь — учёных, женщин, любителей женщин. Причём, на основании экспертной оценки, а не численных параметров. Эту же линию пропагандирует и Фейгельман.
Есть люди,которые охотно берутся искать в черной комнате черного кота, когда заведомо знают, что его там нет. Таких довольно много, но только некоторые страдают таким самомнением и самоуверенностью, что позволяют себе публично восклицать, что не только поймали этого кота лично, но и охотно поделятся с другими самой технологией поимки. Автор статьи позорит ученых в глазах широкой публики. Должны же быть какие-то пределы и приличия….
«Хочешь чтоб было сделано? Сделай сам!»
Царь Соломон
вот ведь бред. Такую ажурную конструкцию из хитросплетений разных людей мог свить только теоретик, т.е. тот, кто за конечный результат не отвечает.
Это же абсурд, господа, вот эти комиссии и рубрикаторы создавать.
Ведь этим снова добиваются только одного, чтобы власть была в руках Фейгельманов, сколько бы и как ты не работал, он придет, и все как «эксперт» решит.
И выберет он, как всегда он и делал, «своих», лично полезных ему людей.