Председателю Правительства РФ Д.А. Медведеву
Копии: Руководителю ФАНО России М.М. Котюкову
Заместителю председателя Совета при Президенте РФ
по науке и образованию А.А. Фурсенко
Об оценке эффективности научных организаций
Господин Председатель Правительства!
Совет Межрегионального Общества научных работников (ОНР) обращается с просьбой дать поручение о внесении изменений в постановление Правительства РФ от 1 ноября 2013 года № 979 и привлечь к разработке нового документа, регламентирующего оценку деятельности научных организаций, представителей научного сообщества.
Совет ОНР приветствует инициативу руководства ФАНО России, наметившего ряд мероприятий по обсуждению с научным сообществом подходов к проведению оценки научных организаций. Первым из таких мероприятий стал сбор предложений самих организаций, подведомственных ФАНО, по оценке их эффективности. Однако срок, отведенный институтам на формулирование предложений (документ, подписанный 10.04.2014, поступил в институты 16.04.2014, а заполненные анкеты должны были быть представлены до 25.04.2014) нельзя назвать приемлемым. Провести все необходимые для выработки позиции обсуждения было практически невозможно в связи с тем, в частности, что одновременно по заданию того же ФАНО институты работали и над новыми уставами. Также не было времени на согласование позиций институтов близкого профиля, для чего следовало бы провести специальные совещания. Взвешенные предложения, выработанные группами институтов, могли бы стать основой разумных решений. Вместо этого специалистам ФАНО придется теперь извлекать «рациональные зерна» из многих сотен заполненных анкет. Полезность разумной инициативы была существенно снижена неоправданной спешкой при ее реализации. Следует отметить для сравнения, что принятая недавно в Великобритании система аттестации научных коллективов REF-2014 разрабатывалась и обсуждалась несколько лет.
На 22 мая 2014 года ФАНО запланировало проведение «Экспертной сессии по выбору методики оценки эффективности деятельности научных организаций, подведомственных ФАНО России». По мнению Совета, чтобы эффективность самой этой сессии, на которую соберутся более тысячи представителей научных организаций, была высокой, необходимо, чтобы ей предшествовало публичное обсуждение проектов ее решений, а также регламента ее проведения, включающего, в частности, полномочия участников и процедуру принятия решений. Для разработки проектов методики оценки эффективности необходимо создать рабочие группы, включающие ведущих ученых, — отдельно для каждой области науки. Как и в случае анкеты, распространенной ФАНО, спешка может снизить эффективность экспертной сессии до нуля. Целесообразно назначить экспертную сессию на начало сентября, а остающиеся четыре месяца посвятить выработке проектов решений и их обсуждению.
Рассматривая проблему оценки эффективности деятельности научных организаций в целом, Совет ОНР заявляет, что в основу методики, в общих чертах описанной в Правилах, утвержденных постановлением Правительства от 1 ноября 2013 года № 979, был положен ошибочный подход, состоящий в сравнении научных организаций главным образом по совокупным численным показателям. В предложениях Совета ОНР по доработке проекта этого постановления, опубликованных в августе 2013 года, в частности, отмечалось следующее.
- «Концепция предлагаемых Правил исходит из того, что субъектом, производящим научную продукцию и подлежащим оценке и мониторингу, выступает исследовательский институт или подобная научная организация. <…> Подобная установка применительно к собственно исследовательской деятельности неверна. Основной рабочей единицей, «производителем результатов» в фундаментальной науке фактически выступает лаборатория, научная группа или отдельный ученый. Институты призваны решать иную задачу: они поддерживают и развивают организационную и материально-техническую инфраструктуру, предоставляемую научным группам для их исследовательской работы. По этой причине оценка научной организации как целого по единым формальным критериям принципиально не может отразить результативность работы научных групп, проводящих исследования на ее базе».
- «Различные научные направления даже в пределах одной области знания могут в несколько раз отличаться по публикационной активности и интенсивности цитирования научных работ. Из-за этого эффективные научные коллективы, работающие в одной области, будут иметь заведомо разные наукометрические показатели, поэтому некоторые из них рискуют попасть в аутсайдеры только из-за тематики своих исследований».
- «Следует разработать и утвердить процедуру независимой экспертной оценки деятельности научных организаций. Результаты такой оценки позволят получить разумные рекомендации, касающиеся работы не только отстающих организаций, но также и «середняков» и лидеров».
О ведущей роли экспертных оценок много говорилось на заседании Совета при Президенте по науке и образованию 20 декабря 2013 года: «система [оценки эффективности институтов] должна максимально опираться, прежде всего, на экспертные оценки» (Д. Ливанов); «никакие наукометрические показатели не могут заменить мнение специалиста, и ключевым [показателем] остается личная ответственность эксперта» (А. Фурсенко); «наукометрия есть дополнительный показатель гамбургского счета к глубоким экспертным оценкам» (М. Ковальчук); «у нас необходимо ввести экспертные критерии оценки научной работы» (В. Фортов). «Правила оценки и мониторинга результативности», утвержденные постановлением № 979, не соответствуют этим принципам. В них экспертиза предусмотрена лишь для «анализа» представленных организациями наукометрических данных (пп. 13, 16) и оценки деятельности подразделений тех организаций, которым грозит ликвидация (п. 27). Иными словами, если организация не признана «утратившей перспективы развития», то при ее оценивании сама научная деятельность коллектива экспертно не анализируется.
Таким образом, основным объектом оценки должны стать не институты в целом, а лаборатории и научные группы. Причем оценка должна в основе своей быть экспертной, а не сводиться к численным показателям результативности. Разделение научных организаций на три категории (лидеров, стабильных и утративших перспективы развития) на основании численных показателей нельзя признать допустимым. Эти и другие проблемы, отмеченные в предложениях Совета ОНР, в итоговой версии постановления № 979 так и остались нерешенными.
Чтобы не допустить поспешного разрушения хрупкой структуры отечественной науки, необходимо безотлагательно скорректировать Постановление № 979. Новый документ должен быть ориентирован на сохранение и оздоровление научной среды в России, что предполагает сохранение всех работоспособных научных коллективов, на оценку организаций на основании научной экспертизы их подразделений, на учет специфики научных дисциплин и использование лучшего отечественного и мирового опыта.
Принято на Заседании Совета ОНР № 4 (33) 28 апреля 2014 года
нельзя признать допустимым…
А вот так будет, готовьтесь!
Мораторий быстро пролетит.Затем снова спросят, на фига вам нужен был год, и что за год вы сделали?
На собрании ОНР терки терли? Ну так и трите дальше, только бесплатно.
«По мнению Совета, чтобы эффективность самой этой сессии, на которую соберутся более тысячи представителей научных организаций, была высокой, необходимо, чтобы ей предшествовало публичное обсуждение проектов ее решений, а также регламента ее проведения, включающего, в частности, полномочия участников и процедуру принятия решений. Для разработки проектов методики оценки эффективности необходимо создать рабочие группы, включающие ведущих ученых, — отдельно для каждой области науки. »
Але, граждане ученые. Методика оценки была предложена 1 ноября!!!! Кто мешал обсуждать, создавать рабочие группы ведущих ученых и разрабатывать альтернативные регламенты??? Кто должен был организовывать общественное обсуждение??? Полгода прошло. Или опять пока гром не грянет, мужик не перекрестится? Из известных мне людей этим делом действительно пыталась заниматься только группа Фейгельмана в комиссии общественного контроля. Да и то, уровень активности ученых в обсуждении был на порядок меньше, чем трепотня на форумах. Из личного опыта 80% людей про это слыхом не слыхивали. Все опять надеялись, что как-нибудь пронесет. А теперь спохватились, что времени нет.
Хотя по уму этим надо было начать заниматься лет 10 назад. Но РАН, имевшая все необходимые ресурсы, не сделала ровным счетом НИЧЕГО. И теперь эти господа, назначенные главными экспертами по науке, ничего разумного предъявить не могут.
Г-н Denny, те или иные критерии оценки науки предлагались и обсуждались и 10 лет назад. Но обсуждать имеет смысл только «документ, подписанный 10.04.2014», который «поступил в институты 16.04.2014». Или Вы настаиваете, что соответствующие документы были в институтах с 1 ноября? Надеюсь, что Вы понимаете разницу между «документами» и чьими-то частными мнениями.
Можно, конечно, сказать, что нужно было бы выработать единую позицию уже давно и т.д., и т.п. Но такая общая позиция давно уже сформулирована: основа всего в фундаментальной науке — экспертная оценка. Где и кем это учтено?
Еще разок: правила оценки, которые предлагается обсуждать по документу, поступившему 16.04.2014, были утверждены правительством 1 ноября 2013 и доступны всякому, умеющему читать. Обсуждались эти правила и на здешнем сайте. Так что мне совершенно непонятно, почему для формирования позиции научного сообщества требуется еще какое-то время.
«Но такая общая позиция давно уже сформулирована: основа всего в фундаментальной науке — экспертная оценка. Где и кем это учтено?»
Отвечаю. В документе от 10.04.2014 есть опросник. Надеюсь, Вы с ним знакомы. Там есть вопросы о том, обязательно ли должна быть экспертная оценка. Там ест вопрос о том, нужно ли оценивать подразделения институтов по отдельности. И другие вопросы. Если в научном сообществе ест консолидированное мнение по этим вопросам, ответы не займут много времени. А если для ответов вдруг требуется еще полгода широкого обсуждения (а кто его будет организовывать?), то это значит, что никакого мнения у научников нет.
Это значит, что пока в очередной раз МОН не даст пинка, так называемое научное сообщество задницей не пошевелит. И эти люди еще смеют рассуждать о самоуправлении в науке!!!
По-моему, Вы слегка самому себе противоречите. Как «утвержденные правила оценки» (еще в ноябре!) сочетаются с предполагаемым учетом результатов опроса в апреле? Я понимаю, что тут претензии, скорее, к «законотворцам», но Вашу аргументацию в этой ситуации я не понимаю.
Что же касается «консолидированного мнения», то всегда найдется кто-то, который будет вещать, что академики и прочие «большие ученые» продали и разрушили науку, оставшиеся в РФ ничего из себя не представляют и т.п. В этой ситуации, при желании, всегда можно указать, что общего мнения не существует, «эти люди» самоуправления недостойны и делать так, как хочется. Что, собственно, и происходит.
Может кто-то предложить более эффективный инструмент формирования экспертного сообщества, чем тот, который реализуется при создании Корпуса экспертов? Но хоть кто-то из Минобра хоть как-то опирается на этот опыт и проделанную работу?
По-моему, прекрасно сочетаются. Опрос касается аккурат этих самых правил оценки. В свое время эти правила (в числе прочего) вызвали явное возмущение и критику. Был объявлен пресловутый мораторий. Не только из-за ноябрьских правил, но в том числе. Прошло полгода, что вполне достаточно для широкой дискуссии в научных кругах. Теперь власти хотят собрать мнения научников. И подвести некие итоги. Достаточно логично. И выясняется, что научники к этому совершенно не готовы. Что странно.
Я Вам приведу фрагменты одной моей дискуссии, которая имело место быть еще в январе. С содержанием дискуссии знакомы некоторые авторы и участники обсуждений на этом сайте.
«Jan 22
Уважаемые коллеги,
Пардон за навязчивость, но мне кажется, что сейчас самое время предпринять некоторые шаги для расширения общественной базы некоторых важных инициатив. Я имею в виду корпус экспертов и регламент профессиональной оценки.
1. Корпус экспертов должен быть сформирован по основным научным направлениям. Пока по многим областям число экспертов мало, и реальное использование его для целей экспертизы невозможно. Я бы предложил сделать еще одну рассылку по всем ученым списков «кто есть кто». Объяснить людям значимость проекта именно сейчас. Думаю, в нынешних условиях многие молчуны откликнутся. После этого можно было бы довести списки экспертов до разумной величины.
2. Поддержка регламента экспертиз. Большинство просто не в курсе. В той же рассылке можно было бы попросить людей, многие из которых занимают серьезное положение в своих институтах, инициировать обсуждении регламента на своих ученых советах. И по решениям УС направить в комиссию письма с выражением поддержки.
Если это получится, имеющиеся важные инициативы будут не просто инициативами отдельных групп, а будут иметь весомую поддержку научной общественности. Тогда это может иметь некое значение.
С уважением,
Тихонов Денис
ЗЫ. Ессно, лично я готов предпринять необходимые действия в рамках института и знакомых ученых.
…
Я даже не про конкретный регламент. Там в любом варианте еще много надо делать. К примеру, более корректно учитывать прикладные и инфраструктурные работы.
Может быть стоит на данном этапе сформулировать «основные положения», принципы экспертизы? И постараться обеспечить этим принципам действительно массовую поддержку, которую можно было бы «выложить на стол» при неизбежных дальнейших переговорах с «властями».
…
ОК, понятно. Пусть не будет общей рассылки. Но можно было бы (я полагаю) сделать подобное заявление на сайте комиссии (если комиссия считает такую форму поддержки своих инициатив полезной ). И давать список ученых и организаций, которые инициативы поддержали.
Денис»
РАН никогда и не допустит этого, потому что прекрасно знает, что любое общественное обсуждение приведет к немедленному увольнению академиков и выбору совершенно других людей.
РАН в течение многих десятилетий набивала свои ряды выкормошами, выгодными для их карманов вопреки мнению научного сообщества. А теперь они больше всего на свете боятся, что свободный выбор научников приведет к тому, что их всех просто попрут оттуда.
Г-н «алкоголик», за что Вы так членов РАН ненавидите?
вот из-за таких писем в Правительство, они там и думают, что мы все здесь сумасшедшие..На их месте я бы этот хлам тоже сократил бы и закрыл..
Такие письма в Правительство приводят к тому, что ко всему научному сообществу
относятся отрицательно. Я категорически против тона и содержания письма.
Не нужно поучать Правительство. Если бы подписанты хотели полабораторного учета, они бы, будучи в самых верхах академии, давно бы это наладили. И для этого им не нужен ни Путин, ни Медведев. Однако, будучи сами не в силах ничего изменить в РАН, они теперь пишут надменные письма тем, кто заставляет их производить хоть какие-то преобразования.
Зачем же делать вид, что Правительство неквалифицированно мешает вам? Что же вы сами не принимали и не принимаете во внимание свои собственные изречения? И почему подобные письма не посылали Осипову и Фортову?
Ожидать, что подобные истеричные заявления способны улучшить наше положение нельзя. ОНР такими письмами вредит, а не улучшает ситуацию.
а зачем мне ненавидеть — только энергию терять на всякие чувства.
Я просто говорю, что они в основном лжецы (за исключением некоторых малочисленных академиков, отдаленных от реальной власти ).
В результате все их действия направлены не за, а против реальной науки.
Утверждаю, что большинство «членов» выбрано вовсе не по научным заслугам.
Считаю, что административные их способности также никчемные.
Ясно вижу, что х попытки противодействовать реформам ведут к уничтожению любой науки. Это происходит потому, что их кредо таково: «либо наука с нами и под нами, либо пусть лучше не будет никакой науки, не подчиняющейся нам».
Мне с такими не по пути.
Р
Как всегда — в комментах грызня, а не мысли.
А мысли таковы.
Моя последняя находка — оценивать эффективность институтов
по средней з/п научных работников (!!!!!).
Тут никаких экспертов и прочей бумажной мути не надо.
Взглянул только на одну бумагу из бух-и и все ясно!
А чтобы з/п, в том числе базовая, росла и двигалась,
надо ввести институт защиты публикаций (систему из 7 , или более, научных степеней).
4-5 пуб. — кандидат, 10-15пуб. — мл. доктор, 20-25пуб доктор и т.п.
Подробнее см мою заметку ТрВ гай-парк от 16.09.13.
А
Чтобы все это реализовать нужно не письма «наверх» писать,
а провести обсуждения на Уч. советах во всех НИИ,
выработать взвешенные решения,
подать их в ФАНО с требованием консолидировать народные идеи и
реализовать через МОН в виде закона.
Короче, основа действия не общественные орг-ции,типа ОНР,
а действующие коллективы институтов.
Так что идите к своим директорам, Уч. секретарям, в Профком,
и добивайтесь их действий.
А ОНР должно этому содействовать
Степени будет утверждать институт?
В институте напишут 20 статей за авторством всех сотрудников и всех утвердят полными докторами.
Некорректно челобитную составили. Не Господин, а Уважаемый Господин!
Вас уже выбросили на улицу, а вы все продолжаете стучаться в закрытую дверь, пытаясь заодно пропихнуть нравоучения и «свое видение», единственно верное.
ну так и что ОНР? Ответили вам? Нет?
Так вот даже алкоголику ясно, что ваше дело пустое…