На специализированном портале правительства РФ опубликован проект документа, существенно меняющего правила оценки научных организаций. Минобрнауки предлагает предоставить полномочия по решению судьбы научных организаций различной ведомственной принадлежности Межведомственной комиссии
Вначале августа Минобрнауки обнародовало планы по существенному изменению системы оценки результативности деятельности научных учреждений. В целях общественного обсуждения, конечно. Хотя правильнее сказать — как бы обнародовало. Дело в том, что вечером 2 августа 2013 года проект постановления правительства «О внесении изменений в постановление Правительства РФ от 8 апреля 2009 года № 312» и пояснительная записка [1] к нему были вывешены на правительственном «едином государственном портале раскрытия информации о разработке федеральными органами исполнительной власти проектов нормативных правовых актов и результатах их общественного обсуждения» (http://regulation.gov.ru), который был недавно организован «в целях повышения информационной открытости деятельности федеральных органов исполнительной власти и реализации конституционного права граждан, их объединений и организаций участвовать в управлении делами государства». По планам организаторов портала, все ведомства с 15 апреля этого года должны размещать проекты нормативных актов именно на этом портале и, таким образом, формируется «система раскрытия федеральными органами исполнительной власти информации о подготовке проектов нормативных правовых актов по единым понятным формализованным правилам и процедурам размещения».
Проблема, однако, в том, что как граждане России в целом, так и научные работники (даже те из них, кто в разгар отпускного сезона пытаются отслеживать проекты законов и иных нормативных актов, стараясь уменьшить ущерб от бюрократического бумаготворчества), в частности, не имели представления о том, что такой портал открыт. На сайте же Минобрнауки информации о важном проекте не было, не были о нем информированы и члены министерского Совета по науке. Так что, похоже, как и в случае с законопроектом о реорганизации РАН, чиновники вовсе не стремились организовать реальное общественное обсуждение.
Впрочем, так или иначе, о планах по реорганизации системы оценки научных учреждений стало известно, так что имеет смысл посмотреть, что предлагает Минобрнауки.
Первый подход к снаряду
Несколько лет назад правительство решило, что в целях повышения эффективности расходования средств на науку следует ввести систему оценки деятельности научных учреждений с соответствующими оргвыводами на выходе. Не беда, что основной рабочей единицей в области научных исследований является обычно научная группа, и потому, давая оценку научным учреждениям, оценивают, в общем, среднюю температуру по больнице — вдаваться в такие частности государственным мужам совсем некстати. Ведь гораздо выигрышнее докладывать президенту и премьеру о том, что разработан план по оценке и оптимизации сети научных учреждений, а не каких-то там научных групп. Поэтому разговоры про то, что следует оценивать научные группы и то, что хорошей научной организацией можно считать ту, в которой работает много хороших ученых, игнорировались.
Была разработана — естественно, путем выделения лотов на многие десятки миллионов рублей — типовая система оценки результативности научных учреждений на основе 50 формальных показателей. Предполагалось, что ведомства будут оценивать свои учреждения по утвержденным на основании типовой методики правилам и делить их на три категории:
— научные организации-лидеры;
— стабильные научные организации, демонстрирующие удовлетворительную результативность;
— научные организации, утратившие научный профиль и перспективы развития.
Организации-лидеры должны были получить дополнительные ресурсы за счет ликвидации и реорганизации организаций, отнесенных к третьей категории.
В реальности повышения эффективности сети научных организаций не вышло. Разработанные за министерские миллионы правила оценки организаций, как и их академические варианты, подверглись критике общественности, а сама оценка велась формально. К примеру, в результате такой как бы оценки выходило, что подавляющее большинство институтов РАН относится к лидерам по гамбургскому счету, и лишь немногие институты демонстрируют просто удовлетворительную результативность. Естественно, никаких дополнительных финансовых поступлений «лидерам» это не принесло.
Второй подход к снаряду
В 2012 году власть в Минобрнауки сменилась, и одним из активно продвигаемых новым руководством министерства проектов стала «Карта российской науки». Вроде бы министерство озаботилось тем, чтобы увидеть не только организации, но и научные группы, отдельных ученых. Однако подготовка «Карты российской науки» велась, что называется, в лучших традициях. Многомиллионный лот выиграло российское подразделение крупнейшей международной консалтинговой фирмы, не имевшее, однако, опыта работы в сфере наукометрической деятельности, а сроки выполнения работы были крайне жесткие. К участию в проекте планировалось привлекать научную общественность, однако работа шла тяжело и те демонстрационные версии продукта, которые ненадолго появлялись в открытом доступе, были, мягко говоря, сырыми. Судя по ним, на доводку «Карты российской науки» до приемлемого для оценки с оргвыводами уровня нужны многие месяцы напряженной работы — корректировки исследователями данных о себе, правильного представления данных об организациях и пр.
И вот Минобрнауки решило вновь вернуться к вопросу оценки организаций как целого. Что же планируется изменить? Деление организаций на три группы сохранилось, как и намерения по существенному переформатированию сети научных учреждений. Минобрнауки предлагает примерно в два раза (с 50 до 25-30) сократить число показателей оценки и на основе новой типовой методики проводить вневедомственную оценку организаций. То есть оценка будет проводиться для референтных групп научных организаций, формируемых не по ведомственному принципу.
Ключевым органом оценки организаций станет Межведомственная комиссия, формируемая Минобрнауки. Эта комиссия будет формировать пороговые показатели результативности для референтных групп научных организаций (и, вероятно, определять принципы формирования референтных групп), согласно которым необходимо относить организации к одной из трех групп, а также принимать решения о судьбе организаций различной ведомственной принадлежности по результатам работы ведомственных комиссий по оценке результативности. Таким образом, последнее слово будет оставаться за Межведомственной комиссией.
Насколько можно судить по тексту проекта документа, оценка деятельности будет вестись сугубо на основе формальных показателей результативности — про экспертное сообщество есть только одно упоминание в пояснительной записке и то, что называется, через запятую. При этом, хотя Межведомственной комиссии и предоставляется некоторая свобода в установлении пороговых показателей для отнесения организации к первой и второй категории, но нижняя граница задана: «минимальные критерии для отнесения научной организации к 1-ой категории не могут быть менее чем на 25% выше средних в соответствующей референтной группе; для отнесения ко 2-й категории не могут быть более чем на 25% ниже средних в соответствующей референтной группе».
Данные о показателях результативности организации будут предоставлять Минобрнауки раз в год, а сама оценка будет происходить раз в пять лет. Предполагается, что для организаций-лидеров будут формироваться программы развития, также итоги оценки будут влиять на объемы бюджетного финансирования тех организаций, которые не попадут в группу «неуспевающих».
Гладко было на бумаге
Планы Минобрнауки вызывают много вопросов. Даже при более-менее разумном наборе формальных показателей и заведомо разумном формировании референтных групп (насколько вероятно то и другое — вопрос отдельный) более-менее бесспорно можно выделить только самых лучших и самых худших, не более.
Безусловно, будут сказаны все правильные слова про работу над набором показателей и принципами формирования референтных групп организаций с привлечением научного сообщества, но, как показывает хотя бы история с той же «Картой российской науки», наверняка всё будет сделано на скорую руку и потому продукт будет сырым. Тем более сырым, что задачи об адекватном распределении научных организаций по референтным группам и объективной их оценке только на основании формальных показателей заметно сложнее, чем задачи сбора и сортировки наукометрической информации об исследователях. Ведь даже работающие в одной области науки институты могут сильно отличаться по масштабам и специфике своей деятельности, не говоря уже о том, что и отдельная организация при внутреннем рассмотрении может оказаться очень разнородной. Как сформировать референтные группы, чтобы не сравнивать крупный разноплановый институт и небольшой институт с достаточно узкой специализацией, ориентированную преимущественно на фундаментальные исследования организацию и организацию, выполняющую большой объем прикладных и закрытых работ, чтобы под одну наукометрическую гребенку не попали зоологи и молекулярные биологи? Кажется очень маловероятным, что разумное решение этих вопросов получится найти в спешке и с первого раза.
А последствия непроработанности правил оценки велики: не столь уж большая беда, если организация не попадет в первую категорию, но попадание в третью будет, в любом случае, болезненным. При сугубо формальной же процедуре оценки легко представить ситуацию, когда попадание в группу неудачников обеспечивается только за счет ошибочного (по недоработке или в силу злой воли — не столь уж важно) отнесения института к не слишком подходящей референтной группе. В таких условиях не ясно, зачем забивать прямо в утверждаемые постановлением правительства правила минимальные пороговые значения: вряд ли до утверждения новых типовых правил оценки и формирования референтных групп в министерстве представляют «типовой вид» распределения организаций по показателям. Как бы потом не пришлось хвататься за голову, глядя на результаты. Причем, если в нескольких городах — крупнейших научных центрах- прилично работающие группы имеют шансы найти новое место работы после ликвидации института, где они работали, то в большинстве регионов с этим могут быть большие проблемы в виду отсутствия научных организаций подходящего профиля. Да и местные университеты, на которые Минобрнауки усердно давит, заставляя сокращать штаты и увеличивать нагрузку на преподавателей, вряд ли примут варягов с распростертыми объятиями. Так что при спешном развертывании системы оценки по новым правилам страна может потерять множество работающих научных групп в регионах (вряд ли большинство увольняемых решит перебраться в Москву или Питер).
С другой стороны, не очень понятно, насколько велика будет польза для организаций, причисленных к первой категории. Некоторое увеличение финансирования, наверное, будет, естественно, не просто так, а под разработанные институтами «программы развития». Это словосочетание чиновники очень любят, поскольку оно придает процессу управления организациями видимость плановости и системности. Университеты пишут эти программы уже довольно давно, и опыт показывает, что если и не полностью, то в значительной части «программописательство» проходит по разделу бюрократической имитации полезной деятельности: ставятся серьезные (и вряд ли достижимые в реальности) цели, изображаются направления системной (и тоже вряд ли реализуемой на практике) трансформации работы организации и т.д. Наиболее заметными результатами разработки и реализации программ развития являются огромные надбавки «за участие в разработке программ развития», выплачиваемые приближенным к руководству сотрудникам, новые отделы и подотделы со звучными названиями в структуре управления, а также красивые презентации, демонстрируемые в местах скопления начальства.
Если экспертная оценка (конечно, при условии, что она не является имитацией деятельности) работы института позволяет — что для лидеров, что для отстающих — получить на выходе разумные рекомендации, касающиеся тех или иных направлений работы и структурных подразделений, то на выходе будет ранжирование организаций по средним температурам по больнице. И, конечно, победные реляции о выполнении поручений президента России и начале системной работы по оптимизации сети научных учреждений, за фасадом которых будет немало наломанных дров.
Впрочем, очень возможно, что предлагаемые правила оценки вырабатываются как раз для обеспечения резкого сокращения числа научных институтов и научных сотрудников независимо от того, как сложится судьба законопроекта о реорганизации РАН. А к значительным потерям, в том числе и среди активно работающих исследователей, чиновники относятся философски: лес рубят — щепки летят. Зато можно будет доложить президенту о значительном увеличении финансирования в расчете на одного ученого и, соответственно, об увеличении средней зарплаты научных сотрудников, как требует президентский Указ. Другой Указ, правда, требует роста публикационной активности российской науки, а резкие сокращения к нему определенно не приведут. Но только падение числа публикаций будет зафиксировано позже, через год-два. А к этому времени наверняка сменится руководство Минобрнауки, и новое руководство сможет развести руками — мы не виноваты.
Поэтому необходимо уже на этапе обсуждения проекта направить в Минобрнауки замечания. Недопустимо в пожарном порядке (уже в будущем году) начинать массовую ликвидацию и реорганизацию научных организаций на основании неотработанной формализованной оценки -система оценки может быть запущена только в тестовом режиме. Нельзя заранее фиксировать какие-то жесткие пороги для разделения организаций на категории. Помимо оценки по формальным показателям обязательно должна проходить и независимая экспертная оценка работы научных институтов, причем нельзя заменять лояльных ведомственных экспертов на экспертов, послушно выполняющих указания Минобрнауки. Только после отработки системы формальной оценки, принципов формирования пула экспертов (в том числе — международных) для независимой оценки организаций, после тестовой обкатки системы, решения вопросов о сохранении нормально работающих исследовательских коллективов в составе неуспешных в целом организаций и т.д. можно переходить к реорганизации сети научных учреждений. Прием замечаний заканчивается 17 августа.
1. http://regulation.gov.ru/project/5656.html?point=view_project&stage=2&stage_id=2828
Как-то все очень муторно и запутано. Ту глупость которая была задумана раньше удалось замять и институты в провинции сокращать не стали. Непонятно зачем по второму кругу эту ерунду затевать. Я бы даже назвал это вредительсвом. Инстиуты в Москве и Питеру отнесут к лидерам и увеличат им финансированиии. Инстиутты в крупных городаъх и научных цеентрах запушут как удовлеторительно работающие — и оставт так доживать. А все что совсем в провинции — сократят.
Новая система, похоже, откладывается. Вот фрагмент из недавнего интервью В.Е.Фортова.
Вопрос: Как вы относитесь к предложению Министерства ввести новую систему оценки эффективности научных учреждений?
Ответ: Я разговаривал с министром на этот счет. Я считаю, что это преждевременно. Сначала нужно дождаться выхода закона, а затем заниматься этим решением. Он со мной согласился.
Автор заметки, похоже, счастливый человек, не имевший дела с подготовкой отчета организации в рамках кампании по выставлению этих оценок. Составление такого отчета требует многодневной и многотрудной слаженной работы ученого секретаря, бухгалтерии, планового отдела и т.д. Обидно, что подавляющая часть представляемых сведений до этого уже не раз передавалась в многочисленные проверяющие инстанции. Характерный пример. Значительная часть организаций, результативность которых подлежит обсуждаемому учету, имеет диссертационные советы. В июне 2013 года ВАК запросила у этих несчастных организаций оглушительное количество наукометрических данных, которые, по-видимому, призваны отсеять по формальным показателям недееспособные диссертационные советы. Однако состав запрошенных данных в значительной мере пересекается с составом данных, представляемых организацией для выставления оценок. Отметим, что в данном случае и те, и другие сведения требуют от института подразделения одного и того же Минобрнауки. Почему бы не попытаться избежать здесь очевидного дублирования?
Нужно ли вообще запрашивать какие-либо сведения от организации, чтобы получить оценку ее результативности? В настоящее время существует великое множество весьма продуманных и содержательных открытых для всех и отечественных, и зарубежных проектов, оценивающих организации под тем или иным углом зрения. Например, для отечественных структур интересным показателем оказался индекс Хирша организации, вычисляемый eLibrary.ru в рамках проекта РИНЦ. Если требуется сопоставление отечественных и зарубежных организаций, великолепно работает получивший всеобщее признание проект webometrics.info, оценивающий сайты образовательных и научно-исследовательских структур всего мира. Оценки webometrics.info становятся особенно актуальными в связи с заявлением стран-членов G8 о поддержке открытых данных, подписанным в Лондоне 12 июня 2013 года министром образования и науки РФ Д.В.Ливановым. Преимущество внешних оценок, помимо прочего, еще и в том, что они позволяют избежать многих ошибок, возникающих при вводе сотрудниками оцениваемых организаций больших массивов своей наукометрической информации.
Вместе с тем, имеет смысл с большой осторожностью относиться к данным некоторых популярных наукометрических систем, в частности Web of Science, по многу лет игнорирующих научные публикации, выходящие на русском языке. В самом деле, какой смысл авторам публиковать на английском статью, анализирующую коррупционные последствия той или иной нелепости, появившейся в российском законодательстве, скажем, в области госзакупок? Или, например, блестящий проект, выполненный под руководством академика Ю.И.Шокина, позволивший по расширенному набору параметров сопоставить сайты институтов СО РАН, — чрезвычайно полезное исследование, результаты которого вряд ли представляют интерес для англоязычного читателя. Иначе говоря, ориентация на некоторые зарубежные наукометрические системы механически оставила бы без внимания и без надлежащей высокой оценки многие важные и интересные для нашей страны проекты.
Вызывает вопросы и предлагаемая техника применения упомянутых в заметке пороговых значений показателей для отнесения организации к той или иной категории. О каких двадцати пяти процентах там идет речь? Представим себе, что у одной организации некоторый показатель равен 1 млрд, а у другой — 10 млрд. Тогда они будут отличаться, грубо говоря, на 1000%. Но если кому-то надоест писать множество нолей и в качестве критерия будет принят десятичный логарифм от этого показателя, то критерий применительно к первой организации примет значение 9, а второй — 10, т.е. отличие составит 10%. Если принять во внимание, что показатели результативности обязаны быть «натуральными», т.е. понятными по крайней мере проверяющим, то становится ясно, что их произвольный выбор, который допускал бы осмысленное применение правила «25%», практически невозможен.
Пожалуй, суть вопроса чётко выражена в этой осторожной фразе: «Впрочем, очень возможно, что предлагаемые правила оценки вырабатываются как раз для обеспечения резкого сокращения числа научных институтов и научных сотрудников независимо от того, как сложится судьба законопроекта о реорганизации РАН».
Рискуя прослыть экстремистом, хотел бы высказаться ещё яснее: МОН и те, кто направляют его действия, относятся к подавляющему большинству учёных как к врагам, число которых необходимо всемерно уменьшать. Оная система оценок на то и направлена. Сама идея увеличения зарплаты исключительно за счёт сокращений сотрудников — безусловное вредительство, т.к. его отрицательные последствия для науки для МОН и его начальства не могут не быть очевидны, просто для них наука — ненужная роскошь. Вопрос о повышении зарплаты за счёт увеличения бюджетных вливаний и не обсуждается — задачи другие. Впрочем,можно и по-другому — за счёт отнюдь не заработанного сотрудниками МОН жалованья, которое можно сократить в 5-6 раз и употребить с большей пользой. В любом случае важно помнить: перед нами не иванушки-дурачки, — некомпетентные, чего-то там якобы не понимающие, а беспощадный и алчный враг.
Правило 25% со всей очевидность нацелено на то, чтобы как можно больше научных учреждений попало в третью категрию и их можно было бы если не закрыть под предлогом неэффективности, то навязать те или иные бюрократические решения. Была бы другая цель — поставили бы вместо 25% от среднего, например, 25-ю и 75-ю процентили в качестве границ для группы «середнячков» (тоже вообще-то спорно, но, по крайней мере, является вещью не зависящей от прихотей кривой распределения у любого мыслимого способа оценки).
опять имитация актиности если не прямое вредительство
«Вопрос о повышении зарплаты за счёт увеличения бюджетных вливаний и не обсуждается…» Затраты науку просто огромны, дальше их наращивать государство уже не может. Сейчас необходимо сокращать неравенство между «верхами» и «низами». Разумным было бы простое правило, что академики и ректоры ВУЗов не могут получать в четыре раза больше аспирантов и преподавателей (сейчас они получают в 40-50 раз больше).
«Сама идея увеличения зарплаты исключительно за счёт сокращений сотрудников…» Тут вопрос в масштабах этих сокращений. Процентов 50 можно сократить хоть сегодня. Российская наука от этого только выиграет.