Как оценить эффективность работы ученого? Как поощрить лучших? Есть ли зарубежный опыт, которым можно разумно воспользоваться? Этим и другим вопросам посвящена статья Павла Чеботарева, докт. физ.-мат. наук, г.н.с. Института проблем управления им. В.А. Трапезникова РАН, члена Общества научных работников.
О попытке выполнить данное не нам поручение
Одним из поручений [1] по итогам заседания Совета по науке и образованию, состоявшегося 20 декабря 2013 года [2], было «представить предложения по установлению повышенной оплаты труда отдельным категориям научных работников, достигших высоких результатов в научной деятельности. Срок — 1 мая 2014 года. Ответственные: Медведев Д.А., Фортов В.Е.»
Еще в январе несколько членов ОНР, включая автора этих строк, попытались что-то предложить на сей счет. Первой мыслью было взять за отправную точку предложение Совета ОНР лета 2012 года [3]. Оно сводилось к следующему: на первом этапе поддержать стипендиями по 30 тыс. руб. в месяц сотрудников государственных научных учреждений, опубликовавших за последние 3 года не менее порогового числа статей в журналах и материалах конференций, индексируемых Web of Science.
Расчет тогда показал, что 10 тыс. стипендий получится, если установить порог на уровне примерно 6 статей и из бюджета брать 3,6 млрд руб. в год. Предлагалось также через год провести второй этап на основе более детального анализа заявок (заявки ожидались от ученых, за три года опубликовавших не менее трех статей, индексируемых WoS). Здесь можно было бы учесть разброс публикационной активности по областям, импакт- факторы журналов и т.п. и выделить еще 10 тыс. стандартных стипендий (30 тыс. руб. в месяц), а также 2 тыс. повышенных стипендий (60 тыс. руб. в месяц) для ученых, имеющих значительное число публикаций в наиболее авторитетных высокоимпактных журналах. Финансирование второго этапа (с учетом первого) потребовало бы около 8 млрд руб. в год.
При обсуждении этой идеи в январе 2014 года было высказано опасение, что второй этап может пасть жертвой начальственного произвола или общей нестабильности, поэтому желательна дифференциация по областям уже на первом этапе — иначе среди его победителей гуманитариев почти не будет, а с «коврижками» уйдут в основном биологи, физики и химики. Как не обидеть представителей гуманитарных и социальных наук? Было предложено учесть для них также публикации в журналах, индексируемых Scopus, и в ряде журналов РИНЦ.
Но как выбрать журналы РИНЦ — по импакт-фактору? Тут же были приведены примеры солидных гуманитарных журналов, имеющих очень низкий импакт-фактор РИНЦ, и журналов далеко не солидных, имеющих довольно высокий накрученный импакт РИНЦ (в тех же областях). Стало ясно, что журналы РИНЦ надо отбирать экспертно. Однако проведение корректной экспертизы — дело сложное. Ведь многие потенциальные эксперты входят в редколлегии различных журналов, а это чревато конфликтом интересов. Другая проблема — в том, что в ряде областей нельзя судить лишь по статьям, так как важны монографии и другие результаты научной деятельности. А отбраковывать монографии еще труднее, чем журналы.
В общем, попытка выстроить сбалансированное универсальное предложение на основе библиометри- ческого подхода натолкнулась на серьезные трудности.
Об эскизе комплексного подхода
Не могли мы забыть и о том, что против библиометрического мерила успехов всегда восстают не только гуманитарии (среди которых особенно решительны философы [4]), но и математики. Причем они не сидят сложа руки, а уже формируют экспертные структуры. Так, в декабре 2013 года при Отделении математических наук РАН был создан Экспертный совет по оценке результативности научных организаций.
В цели Совета входит создание экспертных комиссий для решения конкретных задач, среди которых и оценка успешности отдельных ученых. При работе таких комиссий математики предлагают использовать лучшие черты вводимой сейчас в Великобритании системы аттестации ученых Research Excellence Framework (REF) — 2014. В этой системе, которую мы обсудим в последнем разделе статьи, учет библиометрических показателей строго ограничен, а для многих наук исключен полностью.
Совершенно очевидно, что навязывать библиометрию в тех областях, где ученые не только в один голос заявляют о ее неприемлемости, но и сами создают экспертные структуры, неправильно. Поэтому предложение может быть примерно следующим.
1. Разделить общий премиальный фонд между областями пропорционально количеству научных кадров.
2. Выработать рекомендации по числу уровней стипендии (1, 2 или 3 уровня), величине стипендии каждого уровня и процентному соотношению количеств премируемых стипендиями каждого уровня. Есть резон (хотя и не железный) в равномерности этих значений по областям. А проще всего, если уровень один.
3. Каждое профильное Отделение РАН (помним, что ответственный за поручение — В.Е. Фортов) совместно с представителями институтов формирует Конкурсный совет. В тех областях, где имеется Корпус экспертов [5], его представители должны составлять не менее 2/3 Совета. Имеет смысл не включать в Совет и его комиссии директоров институтов и их заместителей, а также других функционеров, чтобы он не стал инструментом лоббирования.
Каждый Конкурсный совет делает одно из двух: либо вырабатывает наукометрический критерий присуждения стипендии каждого уровня, либо формирует комиссии для экспертного присуждения стипендий и вырабатывает детальный регламент работы этих комиссий. Прообразы некоторых элементов регламента можно найти в документе «Panel criteria and working methods» [6] английской системы аттестации REF-2014. Но нужно учитывать, что это система оценки подразделений, а не отдельных исследователей. Как и система [7], недавно предложенная Комиссией общественного контроля за ходом и результатами реформ в сфере науки; ее имеет смысл использовать в не меньшей степени.
4. Принципиально, чтобы Конкурсные советы и экспертные комиссии пользовались доверием научного сообщества. Поэтому наилучший способ формирования их — выборы, гарантирующие представительство как РАН, так и научных сотрудников, не имеющих академических званий. Процедуры выдвижения кандидатов, выборов, а также регламент экспертных комиссий должны быть одобрены профессиональной Конференцией научных сотрудников. Такой подход обеспечит решениям легитимность.
Есть ли проход между Сциллой и Харибдой?
Подход, описанный в предыдущем разделе, я предложил тогда коллегам, но поддержки их не получил. Потому что, при всех пороках библиометрии, вовлечение в принятие решений такой [экс-]«феодальной» структуры, как РАН, представлялось им еще более порочным. Даже если требовать одобрения всех принципиальных решений научным сообществом. Ведь в искусстве взять хорошую идею (например, идею демократии), оставить от нее пустую форму и наполнить ее противоположным (скажем, антидемократическим) содержанием отечественным умельцам нет равных. Единственное, с чем этот номер, возможно, не пройдет, — простой формальный критерий.
Нужно отметить, правда, что коллеги — в основном естественники, т.е. представители областей, где корреляция библиометрических показателей и реальных успехов имеет неплохой уровень значимости.
Самое плохое, однако, даже не в том, что есть иные области, а в том, что формальные критерии разрушают научную мотивацию. Премирование за число статей провоцирует salami slicing [8]: автор производит smallest publishable units, раскидывает их по реферируемым журналам и легко обгоняет более сильного коллегу, для которого подобные уловки неприемлемы. Однажды заболевший salami slicing’ом уже вряд ли когда- нибудь возьмется за трудные задачи, чреватые потерей скорости роста количества публикаций. Зато он весьма преуспеет в минимизации их удельного качества, т.е. в производстве статей, вносящих в науку минимально возможный вклад.
Чтобы сохранялась здоровая мотивация, нужно, чтобы был возможен следующий сценарий. По результатам аттестации эксперты заявляют, что ученый X, за 2 года опубликовавший 1 статью, сделал в ней нечто, имеющее все шансы войти в учебники. И его стоит выдвинуть на премию, а также подумать, как помочь ему развить перспективную идею. А ученый Y, опубликовавший 8 «слайсов», пожалуй, соответствует занимаемой должности, но не более того. И он не ухудшил бы впечатление от своей работы, если бы опубликовал всё это в 2-3 статьях.
Но чтобы такой сценарий был возможен, как минимум нужна экспертиза.
Немного о новой системе аттестации в Великобритании
Великобритания является, безусловно, одним из флагманов западного мира в отношении серьезности и продуманности научной политики. Тем интереснее для нас то, как там происходит научная аттестация. В этой краткой статье мы можем коснуться лишь нескольких ее особенностей.
Уходящая английская система оценивания, RAE (Research Assessment Exercise) [9, 10], главным критерием имела, нет, не количество публикаций, а качество исследования; она, как и новая, была экспертной. Внедряемая сейчас система Research Excellence Framework (REF) [6] тоже весьма интересуется качеством, но 20% конечной оценки в ней составляет impact (не путать с импакт-фактором журналов), т.е. влияние, воздействие исследования на окружающий мир и, в частности, значение его для развития науки. Ученых вопросы про impact раздражают, но налогоплательщики хотят знать, на что идут деньги.
Все научные дисциплины в REF можно разделить на те, где библиометрия не используется при оценивании вообще, и те, где она используется с большими ограничениями. К первым относятся математические, инженерные, гуманитарные, общественные науки, менеджмент и др. Ко вторым — науки о жизни, о Земле, химия, физика, информатика и экономика.
«Используется с ограничениями» означает следующее: библиометрические показатели рассматриваются как одно из средств оценивания качества, но не главное (primary) средство. При этом отмечается, что количество цитирований часто ненадежный показатель, например, в случаях прикладных или свежих исследований.
Цитирования для большинства дисциплин второго типа подсчитываются по Scopus; могут использоваться и специализированные базы данных, а для информатики — также Google Scholar; WoS ни разу не упоминается.
В целом речь идет о системе экспертного оценивания с детально и тщательно проработанными регламентами, отличающимися для разных областей знания. И вот что еще интересно: ни для каких дисциплин при оценивании не должны учитываться ни импакт-факторы журналов, ни какие-либо рейтинги журналов или издательств. Конечно, неявным образом всё это учитывается, но в целом, пожалуй, REF несколько ограничивает использование библиометрии по сравнению с RAE.
В противоположность системам оценки, для которых чем больше публикаций, тем лучше, в английской системе, как прежней, так и новой, ученый представляет за пятилетний отчетный период не более четырех публикаций! Но — с формулировкой вклада в науку, вносимого каждой из работ, — по сравнению с тем, «что было» [6,10]. Заметим, что при этом нарезание куска салями на 8 «слайсов» пойдет скорее во вред:половина из них просто не будет учтена. Полезность ограничения числа рассматриваемых статей не раз отмечалась и в некоторых предложениях ОНР.
Наконец,производит сильное впечатление следующее: система REF разрабатывается с 2007 года. В 2008-2009 годах на базе нескольких университетов было проведено пилотное оценивание, результатом которого стал отказ от намечавшегося широкого использования библиометрии. В 2010 году планируемое введение системы было перенесено на год. Актуальный на сегодняшний день проект регламента опубликован в январе 2012 года. Далее почти два года он обсуждался; собрано большое количество стандартизованных анкет с отзывами; типичный объем заполненной анкеты — 10 страниц. Оценивание по новой системе начинается в 2014 года; первые его результаты будут объявлены в конце года. Таким образом, прошло более семи лет от начала разработки до первых результатов. Причем это для системы, не принципиально новой, а развивающей существующую… Надо бы поучиться этой плавности и продуманности изменений!
Думаю, что было бы полезно перевести документ [6] на русский язык и ознакомить с ним всех заинтересованных лиц в Минобрнауки, ФАНО, РАН, Совете по науке и образованию, институтах.
Конечно, Россия не Англия. Но если там считают ненадежным импакт-фактор по WoS, то как мы должны смотреть на импакт-фактор по РИНЦ? А главный аргумент, из-за которого британцы построили и совершенствуют именно экспертную систему, мало зависит от местных условий. Он состоит в том, что наука — одна из самых содержательных сущностей в мире, и сведение достижений ученых к цифири вводит их в сильный соблазн профанации.
Напоследок необходимо сделать одно замечание. Поручение об «установлении повышенной оплаты труда отдельным категориям научных работников, достигших высоких результатов» очень странно рассматривать в отрыве от будущих структуры штатов и системы окладов научных институтов, а с этим пока нет никакой ясности.
- http://kremlin.ru/assignments/20065
- http://kremlin.ru/transcripts/19865
- http://onr-russia.ru/content/гранты-стипендии-03072012
- http://ubs.mtas.ru/upload/library/UBS4426.pdf
- http://expertcorps.ru/
- http://www.ref.ac.uk/media/ref/content/pub/panelcriteriaandworkingmethods/01_12.pdf
- http://rascommission.ru/index.php/documents/statements/63-otsenka
- http://en.wikipedia.org/wiki/Least_publishable_unit
- http://rae.ac.uk/
- http://ubs.mtas.ru/upload/library/UBS4416.pdf
Что-то сомнительно, что будут премировать реально работающих ученых и учтут предложения ОНР, Павла Чеботарева или опыт Великобритании. Скорее всего, правила составят таким образом, чтобы «научными работниками, достигшими высоких результатов» окажутся уже существующие научные феодалы и, может быть, приближенные к ним лица. При этом даже сошлются на систему аттестации в Великобритании. Только, например, добавят пункты по наличию руководства определенным количеством аспирантов и молодых кандидатов.
Что касается предложений ОНР, то предложение платить стипендию ученным, имеющим 6 статей за три года, выгодно прежде всего для экспериментаторов, работающих в больших коллективах. Так, получается, что коллектив из 10 человек, напечатав 6 работ за три года (0,2 статьи в год на человека) следует премировать как успешный, а ученого, в одиночку опубликовавшего 3 статьи за этот период (1 статья в год на человека) — нет. В одиночку или с малым количеством авторов обычно работают физики-теоретики или математики.
В принципе, с более высоким порогом, это предложение ОНР может быть как раз использовано правительством для определения «научных работников, достигших высоких результатов в научной деятельности», т.к. при этом научные тузы, руководящие не всегда пересекающимися по составу группами ученых, всегда будут иметь больше публикаций.
Ну разделите число публикаций на число авторов и все ‘экспериментаторы’ уйдут в ноль. Такая практика реализована в МГУ. Вместе с тем оказывается что если нормировать публикации на корень из числа авторов то получаются разумное соотношение между ‘одиночками’ и ‘экспериментаторами’.
Вот уж о чем надо думать в поcледнюю очередь — так это о том что ‘научные тузы’ что-то получат. Ну получат — и получат.
Можно поддерживать ученых, а можно забалтывать проблему как это в данном случае и делается. Если есть желание поддерживать — возьмите списки Штерна.
Все согласны что там на основе библиометрии собраны действительно достойные люди. Да, не вся российская научная активность представлена в этих списках.
Это не беда — можно организовать другие стипендии для людей не получивших стипендию ‘по Штерну’.
Да, одной формулой для всех не отделаешься. В рамках общей программы с единым финансированием должен быть реализован подход, варьируемый по областям. Это и предлагается.
А вот и «Методические рекомендации по распределению бюджетных ассигнований…» появились. И в них минимум по числу публикаций в WoS за 5 лет для ест. и тех. наук — 10 штук. Распределение по условиям внутреннего отбора. Несложно догадаться, кому это достанется.
мы тут обсуждаем, что будет, а решение будут принимать совсем другие, которых мнение ученых никогда не интересовало и не интересует. Что может измениться в лучшему в науке, если те же директора остаются и бесконтрольно распоряжаются учеными, финансами и пр? Руководители институтов важны -какие они, так как ученые взаимодействуют с ними, от них зависит многое, в том числе -когда и почему ученый может остаться работать…у нас в ин-те много примеров, когда неугодных почему-то лично директору, очень успешных и продуктивных ученых легко увольняли за опоздание на несколько минут на работу … Ученые в России никак не защищены от произвола администрации. Если уникальное новое направление исследований, который можно развивать только в одном институте, ученый оказывается на улице и не из-за причин опоздания…а чтобы основанное им направление присвоить теми, кто его выжил. Повезет, если ученый имеет связи международные -он уедет из страны. Сколько таких русских ученых я встречал там которые именно так уехали на запад с больщой обидой на Россию и на произвол директоров.
Единственный путь борьбы с этим, вероятно, — ВЫБРАТЬ корпус экспертов. Тогда он совместит компетентность и легитимность. Когда он будет за кого-то заступаться, будут откликаться международные профессиональные организации. Это может быть вариант сцепки (локтями). Единства не будет и там, но оно достижимо по кр. мере в вопиющих случаях.
Всё хорошо, прекрасная маркиза! Но…
Несколько системных моментов:
1. Нет лучшего способа нейтрализовать дееспособность конкурентов или «противника» в любом понимании этого слова, чем заставить членов его сообщества передраться «внутри себя». Сверху заброшена именно эта идея: выдвиньте-ка лучших из лучших! За эту косточку и начинается нешуточная борьба. Наукометрия или без неё? Директоров включать, или это по определению? А членов бывшей РАН давайте вообще не рассматривать, им и так от 25 до 50-ти тыс. платят ни за что!? Что круче: физика или политология? И вообще, где наука имеет право быть: от Москвы до Урала или ещё и дальше на восток? Передерёмся, коллеги, передерёмся… Что и хотелось бы ре(де)форматорам науки!
2. Британская система хороша любая: старая или новая, не важно. Но у нас нет никаких оснований на неё равняться. Причина в том, что там профессор, лектор или ресёчер борется не за зарплатные деньги (они известны и фиксированы, вне зависимости от количества грантов, проектов, и т.п.), а за ПОЗИЦИЮ. Или ты на перманентной позиции в университете (тогда можно в кредиты лезть и ипотеку брать!), или тебя отпустят на все четыре стороны после завершения гранта или контракта через два-три года. А у нас планка уровня существования для учёных никакая не установлена. Депутатам, понятно, нужно минимум 2-4 сотни тысяч р. в месяц. А то они за копейки готовы лоббировать любой закон в Думе. Чиновники от науки в Курчатнике и ИТЭФе себе любые оклады и премиальные наворачивают… А голодранцам из бывшей РАН предлагается ОПРЕДЕЛИТЬ ТЕХ, КОМУ БУДЕТ ДОЗВОЛЕНО ДОЖИТЬ ДО СТАРОСТИ БОЛЕЕ-МЕНЕЕ ХОРОШО, чтобы потом им помереть с голодухи, будучи на пенсии.
3. Поскольку приказ сверху дан, то драка за вкусную косточку неизбежна. Она уже идёт. Идёт процесс внедрения своих людей из РАН в структуры ФАНО. Деньги теперь там! Важно правильно их переделить! Если интересно о персоналиях, смотрите на сайте бывшей РАН, кто там во всяких репликах и комментах вдруг видит положительные моменты в реформе академии и вообще, наиболее часто пиарится.
4. В описанной ситуации при любом подходе (английский, американский, китайский…) и в любой организации ФАНО (физики-экономисты-геологи…) должен быть поставлен изначальный фильтр при прочих дальнейших критериях. Это тайное рейтинговое голосование ВСЕХ научных сотрудников (но ни в коем случае нельзя допускать к голосованию только один учёный совет!) по СПИСКУ ИЗ ВСЕХ научных сотрудников. Квота, как правильно отмечено в статье, определяется тем, сколько всего Гарант отвалит на эту милостыню. Поэтому, если все проголосуют за всех на 100 процентов (все мы великие!) — никто ничего не получит в данной конторе. Но этот вариант, по-моему, маловероятен. При общем голосовании в дальнешем конкурсе окажутся люди, которые делают ЛИЦО института. Те, без которых институт — уже не институт. В списке фаворитов наравне с академиком может быть талантливый мэнээс, если всем ясно, что без его консультаций, золотых рук и мозгов не обходится ни один серьёзный эксперимент. Для аналогии вспомним, что такое градообразующее предприятие? По мнению чиновников — это городская администрация. А по мнению работяг — единственный свечной заводик, где ещё платят зарплату. Кому это сравнение интересно — прошу на экскурсию в провинциальную Сибирь или на Урал.
5. И последнее. Если деньги на подъём благосостояния научной элиты не добавят сверху, а отберут у остальных, то это чревато научным майданом… А может это тоже святая цель ре(де)форматоров?
Пятый пункт у нас вседа основной и определяющий. Никаких оснований надеяться на увеличение финансирования науки ни в ближайшем будущем, ни в отдаленной перспективе нет. Уличшить положение отдельных ученых можно только за счет дальнешего опускания среднего уровня.
1. Ваше предложение?
2. «Британская система хороша любая: старая или новая, не важно. Но у нас нет никаких оснований на неё равняться. Причина в том, что там профессор, лектор или ресёчер борется не за…»
Там результат оценивания определяет деньги, получаемые университетом на исследования.
Основание использовать опыт есть. Они отработали инструмент оценивания. Он годен для разных целей. С учетом нац. специфики, конечно.
Да, тузы захотят все взять себе. Надо как минимум указать альтернативу.
4. Внутриинститутское голосование не решит проблему распределения между институтами. И отразит скорее внутриинститутские мифы, чем анализ работ последних лет.
Про межинститутское распределение за нас и без нас побеспокоятся. Если не будет квот по численности, то окажется, что за границей МКАД вообще выдающихся учёных нету. Потом ещё стон поднимется по поводу закрытых тематик: там априори не публикуются… А ведь закрытые тематики — это и закрытые деньги. Выбрали свою стезю — там и кормитесь. На программу ИТЕР пашите? Там тоже свои деньги немалые, и т.п…
Только на уровне отдельного института и можно в тайном рейтинговом голосовании в чём-то разобраться более-менее, без указания сверху. Иначе, всё достанется далеко не талантливым бессеребряникам. Деньги липнут к деньгам!
ПРНД уже сколько лет подсчитывали? Списки публикаций у учёных секретарей имеются. Выложить их на институтский сайт — и смотри-любуйся: кто в Nature «ерунду» опубликовал, а кто — открытие обнародовал в вестнике соседнего педуниверситета… Да директорский корпус этого наведения справедливости не допустит, по понятной причине.
А скорее всего, будет гораздо проще. Готовьте хоть какие списки, а потом сядет с карандашом небезызвестный членкор из верховного научного Совета, и повычёркивает неугодных. Нет, это будут не отдельные фамилии! Физики меня не полюбили? Всех их… !
Начиная с середины семидесятых годов мне приходилось решать эту задачу в серьезном научном подразделении, работая директором крупного вычислительного центра, председателем кооператива и директором ЗАО. Опыт сорокалетней руководящей работы говорит следующее: повышение квалификации и, соответственно, рост оплаты сотрудника интересует только его руководителя-работодателя, который сидит с ним в одной лодке и его успешность и перспективы зависят от того, какой коллектив он создал. Таким образом, пока руководитель организации (подразделения, лаборатории) не будет настоящим хозяином, все попытки решить частную задачу оценки и премирования будут безуспешными. В настоящее время я не вижу возможности появления самостоятельных руководителей-хозяев. Сегодня положение руководителя более зависимое, чем 20 лет назад. Даже финансы, которыми нельзя свободно пользоваться — это условные фантики. Итак: задача разумного решения в масштабах государства невозможна, тенденции неблагоприятные, нужно быть готовым к пустым хлопотам.
«В настоящее время я не вижу возможности появления самостоятельных руководителей-хозяев.»
Вот с этим как-то неясно. Что тут такого невозможного. Если у лаборатории основное финансирование конкурсно-грантовое, то ее заведующий (обычно он пи-ай в грантах) аккурат является хозяином. Который кровно заинтересован в хорошей оплате своих сотрудников (ибо именно они делают работу, без которой не будет грантов). Да и дирекция обычно в таких случаях не наглеет. Ведь гранты и работы идут и в копилку института. Бардак и рабство научных сотрудников начинается там, где цветет не завязанная на научный результат распределительная система.
«…ее заведующий (обычно он пи-ай в грантах) аккурат является хозяином…»
————————————————————————
Если бы все было так на самом деле, то проблем было бы меньше. Эта модель может работать в очень маленькой группе где один лидер. Из того что мне довелось увидеть пока работал в России, завлабами назначались знакомые дирекции, в том числе для того, чтобы они влияли на голосование за директора. Высокую зарплату завлабам платили по отдельной ведомости, чтобы никто не видел. Мало кто из них вообще занимался серьезной научной работой и получал проекты. Проекты получали другие люди и потом многих из них заставляли писать доверенности на использование средств по проектам на своих завлабов. По существующему позорному порядку вещей без подписи завлаба статья не может пройти ученый совет института и ее официально нельзя направлять в печать. Таких как я, кто все игнорировал и публиковал в зарубежных журналах директор считали своми врагами и всячески мешал работать, в том числе руками своих завлабов. Администрация не допускала появления самостоятельных завлабов.
Спустя годы я вижу, что эта политика привела к утечке значительного числа активных сотрудников и полной деградации всего института.
3-й абзац с конца статьи: «Думаю, что было бы полезно перевести документ [6] на русский язык и ознакомить…»
Документ частично переведен (по инициативе ОМН РАН). Части перевода, а также Заявление Совета по оценке результативности деятельности научных организаций ОМН РАН «Российская экспертная инфраструктура для оценки результатов деятельности научных организаций» приложены к заметке на сайте ОНР:
http://onr-russia.ru/content/еще-раз-о-библиометрии-и-экспертизе-при-оценке-ученых-документы
Друзья, много слов, но мало дел!
Вот смотри цитату из начала статьи
» ….разработать рекомендации по числу и величине уровней стипендии (1, 2 или 3 уровня)..»
а далее идет говорильня на 2000-3000 знаков!!!
Столько народу думало, а предложило ухудшенную версию того,
что предлагая я
(см ТрВ, гайд-парк от 16.09.2013).
Я предлагал ввести универсальный индекс П, и по достижении опр. порога
( который в каждой науке может быть свой, пусть решат эксперты),
претендент выдвигает в профильный Уч. совет свои опубликованные работы
на защиту очередной научной степени! Усек??
Всего предлагается не 3 (как придумала ув-я комиссия),
а сразу 7 уч. степеней(цифра подлежит уточнению, как и пороги)
Профильный Уч. совет
(а это и есть эксперты, и снова мудрить с их составом нет нужды)
присуждает соотв. уч. степень по сумме работ.
Все!!!!!!!!
Иди в кассу, получай свои надбавки!!
Просто и честно!
А теперь, друзья, давайте займемся индексом П.
Читайте мои предложения (ссылка дана)
и дискутируйте (2-3 месяца, не более), на своих Уч. советах, на здоровье.
Итоги, как решение Уч совета — в ПРАН, тот — в ФАНО, а этот — в закон.
Все. За работу.
С 1.01.2015 работаем и получаем по новому!!!!
К формуле у нас подходы близкие, включая даже прибавление 1 к импакт-фактору: см. раздел 7 в http://ubs.mtas.ru/upload/library/UBS4401.pdf
Но есть закавыка. Вы видите различие между наукой и публикационной активностью? Поощряя п.а., мы получим тысячи людей, равнодушных к науке и занятых п.а. как злокачественным бизнесом. Они забьют журналы своей макулатурой, которая будет рецензироваться такими же, как они имитаторами, навсегда забывшими о научном интересе, с головами, забитыми трухой импакт-факторов и хиршей. Про такого sci-дельца не будут спрашивать «что он сделал?», а только «какой у него хирш?»
Нормальные ученые пошлют эту малину на her и уйдут за Перельманом в arXiv, работая лаборантами и сторожами.
Есть опасения, что, начни я Вам рассказывать, что я сделал, Вы не поймете и оценить не сможете. И я Ваши достижения тоже.
Так и есть. Но у нас и науки разные. Компетентный эксперт — тот, кто, прочитав авторский ответ на вопрос «что нового внесла данная статья в науку» и имея саму статью, может (привлекая, если надо, библиометрию) оценить важность (и новизну) сделанного. При этом он сам должен быть хорошим ученым.
Не думайте сейчас только о своей науке. Возможно, в ней много можно сказать по Хиршу. Подумайте, например, о социогуманитарных областях, где публикации в журналах WoS и Scopus — редкость. Но автор может публиковать по 25 статей в год в журналах РИНЦ и потому претендовать на лавры. Думаю, Вы согласитесь, что эксперт, полистав эти статьи вместе с авторскими справками по ним, быстро поймет, чего эта деятельность стОит.
И когда экспериментаторы публикуются огромными коллаборациями, формальные индексы могут зашкаливать, оставляя позади всех оригинальных мыслителей. А при ином учете числа авторов — наоборот. И опять же эксперт, полистав работы, не допустит большого перекоса оценок.
Не… Эксперту профессионалу никаких ответов не нужно. Ему фамилии хватит.
Еще лучше. Но это в своей узкой области. А оценивать придется в более широкой.
В более широкой я как эксперт обращусь к наукометрической статистике и конкретным работам. И меньше всего буду буду обращать внимания на то, что человек заявляет о своих заслугах и достижениях. ИМХО, надо отказываться от порочной практики противопоставления наукометрической статистики и экспертной оценки конкретных результатов. Именно это я и постарался выразить в своей версии регламента оценки, который, надеюсь, мы все же увидим в обсуждении.
Человек пишет не о заслугах и достижениях вообще, а о шаге в науке, сделанном в данной статье. И это информативная вещь, т.к. свидетельствует о его адекватности и кругозоре. А противопоставлять статистику и результаты, конечно, не нужно. Просто статистика служебна и в ряде областей имеет второстепенное значение или малоинформативна.
Кто хочет остается сторожем,
а кто хочет и может — имеет собственную дачу на Каменном острове или хотя бы собственный публичный дом (менеджмент вконтакте).
Да. И что?
Павел, вы читать умеете.
Я пишу не о пуб. активности,
а о защите своих работ!!
В этом суть!
Влад, а Вы умеете писать?
Из Вашего текста: «Здесь существенно, что платить следует только за фактор П. А все имеющие место научные звания – признать только почетными.»
При этом фактор П — чистая библиометрия.
7 степеней… Когда ученый уже доказал свою состоятельность, для него естественно заниматься только умножением и распространением знания. Перед знанием все равны. Лестница вроде армейской или чиновничьей в науке смотрится совершенно не органично. Ученого могут награждать, но он сам себя не должен номинировать на награды.
В другой фразе Вы пишете о надбавках за новые степени (а не за «П»). Но сама эта лестница степеней чрезмерно высока и слишком зависит от библиометрии, ко многим областям применимой слабо и стимулирующей имитационную активность.
Павел молодец! Полностью поддерживаю!
«Эксперту профессионалу никаких ответов не нужно. Ему фамилии хватит»
Я надеюсь, это вы для красного словца загнули..
У нас как раз наука и больна тем, что «фамилии хватает».
Вот поэтому коррупция и процветает)))
Потому что вместо экспертизы есть рейтинг фамилий.
И все так и останется до тех пор, пока не начнут смотреть на проект или статью, а не на фамилию
Согласен. По фамилии может судить только эксперт, работающий в той же узкой области — тот, кто работы коллег знает еще в виде препринтов.
насчет фамилии «алкоголик» верно сказал.
Я полагаю, что сейчас в РФФИ
о качестве заявки судят только по фамилии рук-ля.
У меня есть прецедент:
поменял рук-ля. не меняя заявку. и получил полож.реш-е.
Класс!!