Как оценить эффективность работы ученого? Как поощрить лучших? Есть ли зарубежный опыт, которым можно разумно воспользоваться? Этим и другим вопросам посвящена статья Павла Чеботарева, докт. физ.-мат. наук, г.н.с. Института проблем управления им. В.А. Трапезникова РАН, члена Общества научных работников.
О попытке выполнить данное не нам поручение
Одним из поручений [1] по итогам заседания Совета по науке и образованию, состоявшегося 20 декабря 2013 года [2], было «представить предложения по установлению повышенной оплаты труда отдельным категориям научных работников, достигших высоких результатов в научной деятельности. Срок — 1 мая 2014 года. Ответственные: Медведев Д.А., Фортов В.Е.»
Еще в январе несколько членов ОНР, включая автора этих строк, попытались что-то предложить на сей счет. Первой мыслью было взять за отправную точку предложение Совета ОНР лета 2012 года [3]. Оно сводилось к следующему: на первом этапе поддержать стипендиями по 30 тыс. руб. в месяц сотрудников государственных научных учреждений, опубликовавших за последние 3 года не менее порогового числа статей в журналах и материалах конференций, индексируемых Web of Science.
Расчет тогда показал, что 10 тыс. стипендий получится, если установить порог на уровне примерно 6 статей и из бюджета брать 3,6 млрд руб. в год. Предлагалось также через год провести второй этап на основе более детального анализа заявок (заявки ожидались от ученых, за три года опубликовавших не менее трех статей, индексируемых WoS). Здесь можно было бы учесть разброс публикационной активности по областям, импакт- факторы журналов и т.п. и выделить еще 10 тыс. стандартных стипендий (30 тыс. руб. в месяц), а также 2 тыс. повышенных стипендий (60 тыс. руб. в месяц) для ученых, имеющих значительное число публикаций в наиболее авторитетных высокоимпактных журналах. Финансирование второго этапа (с учетом первого) потребовало бы около 8 млрд руб. в год.
При обсуждении этой идеи в январе 2014 года было высказано опасение, что второй этап может пасть жертвой начальственного произвола или общей нестабильности, поэтому желательна дифференциация по областям уже на первом этапе — иначе среди его победителей гуманитариев почти не будет, а с «коврижками» уйдут в основном биологи, физики и химики. Как не обидеть представителей гуманитарных и социальных наук? Было предложено учесть для них также публикации в журналах, индексируемых Scopus, и в ряде журналов РИНЦ.
Но как выбрать журналы РИНЦ — по импакт-фактору? Тут же были приведены примеры солидных гуманитарных журналов, имеющих очень низкий импакт-фактор РИНЦ, и журналов далеко не солидных, имеющих довольно высокий накрученный импакт РИНЦ (в тех же областях). Стало ясно, что журналы РИНЦ надо отбирать экспертно. Однако проведение корректной экспертизы — дело сложное. Ведь многие потенциальные эксперты входят в редколлегии различных журналов, а это чревато конфликтом интересов. Другая проблема — в том, что в ряде областей нельзя судить лишь по статьям, так как важны монографии и другие результаты научной деятельности. А отбраковывать монографии еще труднее, чем журналы.
В общем, попытка выстроить сбалансированное универсальное предложение на основе библиометри- ческого подхода натолкнулась на серьезные трудности.
Об эскизе комплексного подхода
Не могли мы забыть и о том, что против библиометрического мерила успехов всегда восстают не только гуманитарии (среди которых особенно решительны философы [4]), но и математики. Причем они не сидят сложа руки, а уже формируют экспертные структуры. Так, в декабре 2013 года при Отделении математических наук РАН был создан Экспертный совет по оценке результативности научных организаций.
В цели Совета входит создание экспертных комиссий для решения конкретных задач, среди которых и оценка успешности отдельных ученых. При работе таких комиссий математики предлагают использовать лучшие черты вводимой сейчас в Великобритании системы аттестации ученых Research Excellence Framework (REF) — 2014. В этой системе, которую мы обсудим в последнем разделе статьи, учет библиометрических показателей строго ограничен, а для многих наук исключен полностью.
Совершенно очевидно, что навязывать библиометрию в тех областях, где ученые не только в один голос заявляют о ее неприемлемости, но и сами создают экспертные структуры, неправильно. Поэтому предложение может быть примерно следующим.
1. Разделить общий премиальный фонд между областями пропорционально количеству научных кадров.
2. Выработать рекомендации по числу уровней стипендии (1, 2 или 3 уровня), величине стипендии каждого уровня и процентному соотношению количеств премируемых стипендиями каждого уровня. Есть резон (хотя и не железный) в равномерности этих значений по областям. А проще всего, если уровень один.
3. Каждое профильное Отделение РАН (помним, что ответственный за поручение — В.Е. Фортов) совместно с представителями институтов формирует Конкурсный совет. В тех областях, где имеется Корпус экспертов [5], его представители должны составлять не менее 2/3 Совета. Имеет смысл не включать в Совет и его комиссии директоров институтов и их заместителей, а также других функционеров, чтобы он не стал инструментом лоббирования.
Каждый Конкурсный совет делает одно из двух: либо вырабатывает наукометрический критерий присуждения стипендии каждого уровня, либо формирует комиссии для экспертного присуждения стипендий и вырабатывает детальный регламент работы этих комиссий. Прообразы некоторых элементов регламента можно найти в документе «Panel criteria and working methods» [6] английской системы аттестации REF-2014. Но нужно учитывать, что это система оценки подразделений, а не отдельных исследователей. Как и система [7], недавно предложенная Комиссией общественного контроля за ходом и результатами реформ в сфере науки; ее имеет смысл использовать в не меньшей степени.
4. Принципиально, чтобы Конкурсные советы и экспертные комиссии пользовались доверием научного сообщества. Поэтому наилучший способ формирования их — выборы, гарантирующие представительство как РАН, так и научных сотрудников, не имеющих академических званий. Процедуры выдвижения кандидатов, выборов, а также регламент экспертных комиссий должны быть одобрены профессиональной Конференцией научных сотрудников. Такой подход обеспечит решениям легитимность.
Есть ли проход между Сциллой и Харибдой?
Подход, описанный в предыдущем разделе, я предложил тогда коллегам, но поддержки их не получил. Потому что, при всех пороках библиометрии, вовлечение в принятие решений такой [экс-]«феодальной» структуры, как РАН, представлялось им еще более порочным. Даже если требовать одобрения всех принципиальных решений научным сообществом. Ведь в искусстве взять хорошую идею (например, идею демократии), оставить от нее пустую форму и наполнить ее противоположным (скажем, антидемократическим) содержанием отечественным умельцам нет равных. Единственное, с чем этот номер, возможно, не пройдет, — простой формальный критерий.
Нужно отметить, правда, что коллеги — в основном естественники, т.е. представители областей, где корреляция библиометрических показателей и реальных успехов имеет неплохой уровень значимости.
Самое плохое, однако, даже не в том, что есть иные области, а в том, что формальные критерии разрушают научную мотивацию. Премирование за число статей провоцирует salami slicing [8]: автор производит smallest publishable units, раскидывает их по реферируемым журналам и легко обгоняет более сильного коллегу, для которого подобные уловки неприемлемы. Однажды заболевший salami slicing’ом уже вряд ли когда- нибудь возьмется за трудные задачи, чреватые потерей скорости роста количества публикаций. Зато он весьма преуспеет в минимизации их удельного качества, т.е. в производстве статей, вносящих в науку минимально возможный вклад.
Чтобы сохранялась здоровая мотивация, нужно, чтобы был возможен следующий сценарий. По результатам аттестации эксперты заявляют, что ученый X, за 2 года опубликовавший 1 статью, сделал в ней нечто, имеющее все шансы войти в учебники. И его стоит выдвинуть на премию, а также подумать, как помочь ему развить перспективную идею. А ученый Y, опубликовавший 8 «слайсов», пожалуй, соответствует занимаемой должности, но не более того. И он не ухудшил бы впечатление от своей работы, если бы опубликовал всё это в 2-3 статьях.
Но чтобы такой сценарий был возможен, как минимум нужна экспертиза.
Немного о новой системе аттестации в Великобритании
Великобритания является, безусловно, одним из флагманов западного мира в отношении серьезности и продуманности научной политики. Тем интереснее для нас то, как там происходит научная аттестация. В этой краткой статье мы можем коснуться лишь нескольких ее особенностей.
Уходящая английская система оценивания, RAE (Research Assessment Exercise) [9, 10], главным критерием имела, нет, не количество публикаций, а качество исследования; она, как и новая, была экспертной. Внедряемая сейчас система Research Excellence Framework (REF) [6] тоже весьма интересуется качеством, но 20% конечной оценки в ней составляет impact (не путать с импакт-фактором журналов), т.е. влияние, воздействие исследования на окружающий мир и, в частности, значение его для развития науки. Ученых вопросы про impact раздражают, но налогоплательщики хотят знать, на что идут деньги.
Все научные дисциплины в REF можно разделить на те, где библиометрия не используется при оценивании вообще, и те, где она используется с большими ограничениями. К первым относятся математические, инженерные, гуманитарные, общественные науки, менеджмент и др. Ко вторым — науки о жизни, о Земле, химия, физика, информатика и экономика.
«Используется с ограничениями» означает следующее: библиометрические показатели рассматриваются как одно из средств оценивания качества, но не главное (primary) средство. При этом отмечается, что количество цитирований часто ненадежный показатель, например, в случаях прикладных или свежих исследований.
Цитирования для большинства дисциплин второго типа подсчитываются по Scopus; могут использоваться и специализированные базы данных, а для информатики — также Google Scholar; WoS ни разу не упоминается.
В целом речь идет о системе экспертного оценивания с детально и тщательно проработанными регламентами, отличающимися для разных областей знания. И вот что еще интересно: ни для каких дисциплин при оценивании не должны учитываться ни импакт-факторы журналов, ни какие-либо рейтинги журналов или издательств. Конечно, неявным образом всё это учитывается, но в целом, пожалуй, REF несколько ограничивает использование библиометрии по сравнению с RAE.
В противоположность системам оценки, для которых чем больше публикаций, тем лучше, в английской системе, как прежней, так и новой, ученый представляет за пятилетний отчетный период не более четырех публикаций! Но — с формулировкой вклада в науку, вносимого каждой из работ, — по сравнению с тем, «что было» [6,10]. Заметим, что при этом нарезание куска салями на 8 «слайсов» пойдет скорее во вред:половина из них просто не будет учтена. Полезность ограничения числа рассматриваемых статей не раз отмечалась и в некоторых предложениях ОНР.
Наконец,производит сильное впечатление следующее: система REF разрабатывается с 2007 года. В 2008-2009 годах на базе нескольких университетов было проведено пилотное оценивание, результатом которого стал отказ от намечавшегося широкого использования библиометрии. В 2010 году планируемое введение системы было перенесено на год. Актуальный на сегодняшний день проект регламента опубликован в январе 2012 года. Далее почти два года он обсуждался; собрано большое количество стандартизованных анкет с отзывами; типичный объем заполненной анкеты — 10 страниц. Оценивание по новой системе начинается в 2014 года; первые его результаты будут объявлены в конце года. Таким образом, прошло более семи лет от начала разработки до первых результатов. Причем это для системы, не принципиально новой, а развивающей существующую… Надо бы поучиться этой плавности и продуманности изменений!
Думаю, что было бы полезно перевести документ [6] на русский язык и ознакомить с ним всех заинтересованных лиц в Минобрнауки, ФАНО, РАН, Совете по науке и образованию, институтах.
Конечно, Россия не Англия. Но если там считают ненадежным импакт-фактор по WoS, то как мы должны смотреть на импакт-фактор по РИНЦ? А главный аргумент, из-за которого британцы построили и совершенствуют именно экспертную систему, мало зависит от местных условий. Он состоит в том, что наука — одна из самых содержательных сущностей в мире, и сведение достижений ученых к цифири вводит их в сильный соблазн профанации.
Напоследок необходимо сделать одно замечание. Поручение об «установлении повышенной оплаты труда отдельным категориям научных работников, достигших высоких результатов» очень странно рассматривать в отрыве от будущих структуры штатов и системы окладов научных институтов, а с этим пока нет никакой ясности.
- http://kremlin.ru/assignments/20065
- http://kremlin.ru/transcripts/19865
- http://onr-russia.ru/content/гранты-стипендии-03072012
- http://ubs.mtas.ru/upload/library/UBS4426.pdf
- http://expertcorps.ru/
- http://www.ref.ac.uk/media/ref/content/pub/panelcriteriaandworkingmethods/01_12.pdf
- http://rascommission.ru/index.php/documents/statements/63-otsenka
- http://en.wikipedia.org/wiki/Least_publishable_unit
- http://rae.ac.uk/
- http://ubs.mtas.ru/upload/library/UBS4416.pdf
в этом смысле, да, согласен
Ученый должен:
а) вступить в Народный фронт
б) подчиняться вертикали власти
в) не иметь своего мнения
г) скорешиться с властьимущим
Ваш консультант,
известный юрист и к.э.н. Путин В.В.
Смотрю я на вас
и сами понимаете, что думаю.
Предлагаю же вам:
не орать друг на друга, не бегать за экспертами,
а защищать свои публикации
и получать очередные (оплачиваемые) степени.
Все в одном флаконе: и пуб. активность и эксперты(Уч. советы)!!
Чем плохо??
Напиши!!
Во многих областях жесткий библииометрический фильтр контрпродуктивен, т.к. не может учесть всех типов и амплуа ученых.
Как я уже писал в ответе на другой Ваш комментарий, 7-ступенчатую лестницу считаю в науке неестественной. Она создает излишнюю дистанцию, чинопочитание. Это нормально в тех областях, где высшие отдают приказы низшим. А в науке аспирант может разобраться в какой-то проблеме лучше всех «главных докторов» и «полных докторов». Тогда он, а не они — главный специалист в этой проблеме. Кстати, «полный доктор» напоминает «полный дурак».
Павел, ваши комментарии моих предложений наглядно демонстрируют
нежелание разбираться в сути вещей.
Я говорю о защите своих публикаций.
Это самый честный путь доказать свою значимость.
Это замена стороннего эксперта (которого еще и найти надо).
Он без твоих объяснений(а все работы- разные) явно ошибется в оценке
(что я замечаю постоянно, даже на примере моих предложений).
Т.е. процесс оценки вклада ученого — это диалог(защита)!
Потом,
почему народ боится 7 степеней??
ИНЕРЦИЯ.
БОЯТСЯ ТРУДНОСТЕЙ. ПРОЩЕ ПРОСТО ПОБОЛТАТЬ.
И дело не в чинопочитании, а в уважении труда и достижений.
Дело в четкой перспективы карьерного роста(иначе молодежь не пойдет)
Сейчас доктор с 20ю статьями и доктор с 50ю- это 2 совершенно разных уровня компетенции.
А где различия, где оплата?.
Вот их и надо ввести!!
Причем никаких вливаний не требуется.
Почти любой хороший ученый вам скажет: «Я сделал работу. Читайте, изучайте. Хотите, приходите — слушайте на конференциях, семинарах. Мое дело работать, а не что-то вам доказывать. И так на работу времени мало. Я вам не пацан бегать, задрав штаны, за вашими 7 степенями, которых нет нигде в мире. Нормальный ученый думает о тайнах природы, а не о том, чтобы доказывать, что он на самом деле уже не «ведущий доктор», а «главный доктор» а то и «полный доктор».»
Кстати, по той же причине я убежден, что основные зарплата и премия, а также командировочные ученых должны быть по результатам, а не грантовыми. Гранты нужны в основном на специальное оборудование для новых проектов.
Но здесь Вы, насколько понимаю, считаете аналогично.
Павел, ваши комментарии моих предложений наглядно демонстрируют
нежелание разбираться в сути вещей.
Я говорю о защите своих публикаций.
Это самый честный путь доказать свою значимость.
Это замена стороннего эксперта (которого еще и найти надо).
Он без твоих объяснений(а все работы- разные) явно ошибется в оценке
(что я замечаю постоянно, даже на примере моих предложений).
Т.е. процесс оценки вклада ученого — это диалог(защита)!
Потом,
почему народ боится 7 степеней??
ИНЕРЦИЯ.
БОЯТСЯ ТРУДНОСТЕЙ. ПРОЩЕ ПРОСТО ПОБОЛТАТЬ.
И дело не в чинопочитании, а в уважении труда и достижений.
Дело в четкой перспективе карьерного роста(иначе молодежь не пойдет)
Сейчас доктор с 20ю статьями и доктор с 50ю- это 2 совершенно разных уровня компетенции.
А где различия, где оплата?.
Вот их и надо ввести!!
Причем никаких вливаний не требуется.
«Сейчас доктор с 20ю статьями и доктор с 50ю- это 2 совершенно разных уровня компетенции. А где различия, где оплата?.»
Привет Вам большой, Влад…
Скажу аккуратно, что в некоторых областях компетенция доктора с 20 статьями может быть несоизмеримо выше, чем у доктора с 50. Поинтересуйтесь, сколько статей у Г.Перельмана, сколько у П.Хиггса…
павел, что странно, вы практически отказываетесь от люього моего предложеня.
И не только вы.
А что в результате?
Трепотня об экспертах, и множественные дискусии.
Итог- все по старому.
Вы хотели ввести 3 ранга(но субъективно, через экспертов)
Я предлагаю ввести столько же и даже больше( 7) рангов и объективно,
через профильные Уч советы!
И Гриша Перельман на таком совете давно бы стал «полным доктором»,
что, как вы понимаете, есть современный академик.
Шире надо смотреть на вещи.
И глубже.
А не бояться новшеств.
А то что в мире 1 степень, дак это пусть! Там финансирование иного типа.
Любой наш кандидат наук(через пару лет вживания) там не пропадет,
а уж доктор- будет блистать…(если приживется).
там сильны традиции.., блюди их, и ты средний класс!!!!
Почему вы так думаете? Чем ваш совет совет лучше общего собрания РАН? А в РАН заболатировали не только Перельмана, но и вполне встроенного в систему Станислава Смиронова, чьи достижения вполне сопоставимы.
Неужели Перельман участвовал в выборах? Вы ничего не путаете?
Станислава Смирнова не выбрали под дежурным предлогом, что он работает за границей. А Г.Перельмана вроде ПОМИ Стеклова было готово выдвинуть, но он сам отказался.
Предлог всегда найти можно. Смирнова выдвигал СПбГУ и он все документы собрал.
Про Перельмана, вы думаете, на «полного доктора» и предыдущие ступени предложенные автором он бы документы собрал?
Довольно трудно представить себе Г.Перельмана, собирающего документы на эти ступени. А вот посылающего куда подальше — легко.
Ну, что же делать, если мнения разные.
Ни я, ни Вы решения не принимаем.
Упования на «объективность» меня изумляют. Вот масса тела ученого – объективный показатель. Будем учитывать?
Стипендия ученого м.б. то выше, то ниже – в зависимости от текущих успехов. А Вы если получили 7-ю степень – то уж навсегда, вероятно? Если же она теряется, и – защита по новой, то еще веселее:)
Уже не смешно когда люди настойчиво предлагают такие несуразные инициативы на уровне детского сада — хорошо себе ведешь получаешь + и т. д. У кого больше + к концу месяца, тот получет приз. Абсурд не имеет предела. Стоит только начать, кто-то догонится до 7-й степени и будут требовать еще и еще. Нужно идти как раз в обраном направлении — оставить толкьо одну степень.
Я бы оценивал так.
1. Тех, кто смог содержать своих сотрудников и быть небедным в условиях
20-летней вакханалии назвал бы не эффективными сотрудниками, а ворами.
Потому что все их хирши и показатели возникли в результате лжи, откатов, воровства.
2. Не думаю, что бывают чудеса, и вот у Ковальчука открытия как из рога изобилия, а в соседнем корпусе ИК РАН их почему-то нет…
Думаю, просто Ковальчука гнать нужно. И всех таких, как он.
На такое сокращение РАН я согласен.
3. Это, конечно, не относится к тем, кто свои хирши делал за границей, будучи выкинутым туда всеми этими великими учеными типа Алдошина и Фортова, которые присваивали себе все деньги и сейчас продолжают делать это. Никакие прелести и богатства не оправдают тех трагедий, которые происходили с людьми, вынужденными бросить все и работать за границей. Виноваты в этом снова Осипов, Фортов, Алдошин. Почему не несут наказания? «Жизнь сложна»? б..дь
4. Немедленно расформировал бы все эти стариковские стипендии, переделав их в пенсии. Они так должны называться. И изолировал бы молодежь от этих «учителей»,
крышевателей науки.
5. Оставшиеся люди (после разгона Ковальчуков) должны иметь весьма умеренные
индексы. Реально, например, при существующем финансировании физику экспериментатору за год делать 1-2 статьи. Причем в журналы типа ЖЭТФ и никак не в Nature. Наличие статей в последнюю и прочих бойких достижений нужно рассматривать как брехню. На 1000 долларов в год такие работы не сделаются.
6. С оставшихся поэтому спросил бы лишь за настойчивость, за продолжение работы. Если видно, что человек свои 1-2 статьи в год регулярно делает, сам , честно и эта работа новая, я бы плюнул на все хирши и именно таких людей поддерживал бы.
7. Запретил бы вообще поддерживать огромными деньгами приезды великих ученых из за границы, послал бы к черту всю эту цитируемость, разрушенную именно поведением властей.
А теперь они вдруг за нее и решили спроситЬ! И стал бы поддерживать свои журналы, доведя их до хорошего уровня.
Вот так и оценивал бы. Ато высосут из пальца какого-то Северинова, то еще какого-то непонятного фрукта найдут, и давай трепаться, как-будто все остальные научники тупые, они не существовали.
Да они вопреки всему вынесли на своих плечах ваше скотство и воровство.
Они жертвовали своими индексами, продолжая работать. А теперь их же и гнать???
20!!! лет относились как к скотам, а теперь вдруг за год решили с них спросить, почему неконкрентоспособны???
Ну вот где предел свинству?
Могу лишь, если хотите обратную связь, указать в долях 100 примерную степень согласия с Вашими пунктами.
1. 10
2. 20
3. 40
4. 30
5. 40
6. 75
7. 45
Заключение. 65
)) спасибо, Павел,
приходится и здесь с вами согласиться, поскольку некоторые пункты действительно
от эмоций..но самый дорогой и правильный, на мой взгляд, конечно 6-й, с которым вы в большей степени согласились. Нужно на работу смотреть, на людей, а не на цифры.
А работу честно делало все эти годы совсем небольшое количество людей. Вовсе никакие не Севериновы и уж тем более не Ливановы.
Но это все равно все фантазии. Беда сегодняшнего дня, в отличие, от перестроечных 90-х, в том, что в науку хлынуло бескотрольное количество каких-то балбесов. Почувствовали, что там деньги, что болтовней можно хорошо прожить,
и теперь наука стала «народной».
Нет отбора, ни контроля. Среди толпы, как и на рынке, так и в академии, научнику делать нечего. Он штучный уникальный продукт. Он не рожден для того, чтоб локтями толкаться и гранты выгрызать. Он ОБЯЗАН посылать на х..всех, кто с такими предложениями к нему приходит. В меру своей аристократичности, конечно))
И первым среди «народа» научник не окажется. А «контроль» нам уже не восстановить, мне кажется. Честного контроля не будет многие годы..Если только сторонний…
Прежде чем кого-то оценивать нужно как можно точнее знать и фиксировать что и кем было сделано (конечно, это в том случае, если в статьях больше чем один автор). Вот смотрите, o любом кинофильме, например, мы точно знаем кто преложил идею фильма, кто был режисер, оператор и т.д. В науке до сих пор это не сделано ни в России, ни на Западе, несмотря на то что даже еще в 70 -80е годы советские юристы настоятельно рекомендовали внедрить такую систему государственного фиксирования персонального вклада каждого в отдельности ученого. Далее более новое предложение ( смотри rankyourideas.com ): а почему бы нам не оценивать и платить ученым раздельно за их полезные и/или используемые в науке и практике идеи; за качество и скорость разработки идей; за правильные оценки идей и предложений других ученых? Я за сорок лет работы в науке в СССР, России, Европе, США так и не нашел ответа на вопрос: что может быть плохого и нерационального в такой идее? Ведь опять же, в кино почему-то научились поощрять своих работников базируясь на раздельной оценке индивидуального вклада, и считают это правильным, а в науке даже не пытались учиться. Так все и продолжается на уровне полуфеодальных отношений, которые были приняты еще 300 – 400 лет назад. Какие-то там выборы в академии наук, докторские и кандидатские диссертации …. все это уже для многих выглядит так наивно и глупо, работает, в основном, на благо сущесвующего научного истэблишмента и не на благо тех кто платит за науку. Мой вывод: в самом первом приближении, с самого начала, мы должны научиться хорошо защитить идеи всех ( не только высокопоставленных) ученых и изобретателей и затем научиться платить только за идеи, которые действительно были оригинальны, нетривиальны и полезны. Пока эти простые мысли не осознают хотя бы 2-3% процента ученых, или хотя бы парочка высокопоставленных государственных чиновников, разработка новой (даже подобной той что в Англии, Америке, Японии и т.д.), по настоящему, более эффективной системы оценки ученых обречена на провал.
Олег, расскажу Вам, как мы работаем с соавтором. Один пишет короткий набросок, шлет второму. Тот правит его и добавляет свой кусок, снова шлет. На каждой итерации один из нас правит всё написанное до сих пор, делает новые вставки и отсылает другому. После 15-30 итераций статья готова. И как нам прикажете ее делить? Какова единица интеллектуальной собственности? Если идеи А и В высказал я (одну год, другую 5 лет назад), а он догадался их соединить вместе, и получилось нечто новое, то самой ценной может быть идея соединения. Но кроме идеи есть разработка — доказательство, включающее ряд шагов разного происхождения.
Делить же не только невозможно (как не делится подкрутка в фигурном катании), но и вредно при любом раскладе: (а) взаимное благородство, (б) взаимная жадность, (в) благородство одного и жадность другого.
Мне не понятно что Вам не понятно. Вы сами все уже разделили. Идеи А и В будут в вашей копилке, определяющей Ваш ранг, а объединяющая идея в копилке Вашего соавтора. Относительно разработки и доказательства ваших трех идей все очень просто. За разработку вы оба будете оценены совершенно отдельно. Эта разаботка будет в Вашей и Вашего соавтора копилке ( базах данных может быть лучшее слово), определяющий ваш ранг как раработчиков. В моей практике я не помню ни одного случая где бы после того как нетривиальная идея была высказана, никто не мог или только одна группа могла бы достаточно успешно ее разрабатывать. Как правило, это были десятки или даже, может быть, сотни групп. Эффект Мессбауэра, наверное, один из тех редких случаев когда идея была хорошо известна, но никто не знал как экспериментально зарегестрировать реонансное поглощение без отдачи гамма квантов. История науки даже знает один случай, когда никто из теоретиков физиков не смог воспроизвести математическое доказательство теории автора J. следуя по тому пути который он опубликовал. Те кто хотел проверить его теорию ( О + +) использовали, в связи с этим, совсем другую математику и получили тот же результат. После этого J. получил Нобелевскую премию, а О++ ничего за это не получили. Вы знаете о ком я здесь говорю?
Нет. Думаю, что дух мелочного набирания очков разрушает науку как благородное предприятие. Инициирует постоянный дележ собственности внутри команды, споры, кто что первый сказал на семинаре или в личной беседе, кто начал фразу и кто закончил. Я не хотел бы в этом участвовать. Самое опасное для науки — превращение ее в бизнес.
Никакого мелочного набирания очков не будет просто потому, что, как показыват статистика, большинство ученых скорей всего будут иметь индекс креативности равный или близкий к нулю. Т.е. им не удалось выдать каких либо полезных нетривиальных идей в науке. Многим потому, что еще довольно молоды. Еще какой-то малый процент будут иметь за всю жизнь только одну-две такую идею. И только очень малый процент (наверное, меньше чем 1%) будут иметь достаточно большой их набор.
И второе, это не имеет значения, что Вы не хотите участвовать. В одной и той же стране можно ввести две или более различных систем оценок эффективности работы ученых с независимым финансированием для разных виртуальных групп. Каждый будет волен выбирать где ему работать. Насильно никого тащить не будут.Затем просто давать денег больше тем группам, которые лучше работают. Это как бы финансировать раздельно тех кто подписался работать в старой полуфеодальной системе, и тех кто подписался работать в новой, по новым правилам.
А кто, интересно, будет решать, являются ли идеи А и В, о которых упомянул Павел (а так же идея их объединения, предложенная его соавтором), нетривиальными, и начисляются ли за них очки? Совершенно неработоспособная система.
По поводу неработоспособности. У меня опубликованы десятки различных идей и все они были работоспособны. И эта — я абсолютно уверен — работоспособная и более того — конкурентоспособная. Я также уверен, что в будущем что-то будет предложено даже лучше чем у меня. Просто над этим сейчас никто не работает и ни у кого нет стимулов изобретать более совершенную систему. Слишком много развелось таких как Вы, которые абсолютно голословно толком не рабобравшись ни в чем, не неся за это никакой ответственности, готовы зарубить любую хорошую идею, если им она чем-то не нравится. Я часто замечал также , что люди с ограниченными способностями мыслить нетривиально, почему то думают, что и все другие не могут предложить выход их какой либо сложной ситуации, если они сами ничего предложить не могут. Это еще называется воинствующая некомпетентность.
Кто и как будет решать по поводу нетривиальности предложенных идей читайте внимательно мою интернет страничку rankyourideas.com
Ок, вот вам воинствующая компетентность. За границей все не так. Никто не считает ваши достижения, статьи и наукометрию. Вас просто профессор или завлаб взял на работу, либо не взял. И это даже не экспертная оценка, это его заинтересованная оценка. Почему так? Очень просто, если у эксперта нет конфликта интересов, ему наплевать на результат его экспертизы. Таким образом, качество этой экспертизы для него вообще-то не особо существенно. Что касается наукометрии, то она вообще от лени, извинте. Вам не надо возиться с экспертами, взяли цифры посчитали. Недостатками (а их полно) пренебрегли. Это от лени и наплевательства на результат, только и всего. Наилучший выбор среди сотрудников мотивированы делать те, кто хочет получить лучшего сотрудника. Т.е. этот выбор может хорошо небезразлично сделать только завлаб. А по каким критериям — его проблемы. Если он не дурак, то наукометрией он будет пользоваться в последнюю очередь, а в первую постарается оценить что из того, что человек пишет про себя, он реально умеет и как хорошо. Это на Западе работает так везде и в науке и в промышленных компаниях: с людьми проводят собеседования. Если все они такие дураки, а вы умный, то объясните почему.
Очень здравая мысль, полностью поддерживаю. Автор идеи должен иметь более высокий рейтинг и, соответственно, зарплату. Могу сказать, что в той области, где я работаю (физиология), первый автор статьи как правило, является автором идеи. В некоторых иностранных журналах просят расписать вклад каждого соавтора по категориям (автор идеи, сбор материала, обработка данных, написание и обсуждение статьи).
В Nature, NPG журналах, PNAS’e есть раздел где нужно указывать вклады авторов в работу. И когда авторов много, а бывает и по 15-20, это не так просто, хотя все прозрачно. Кто-то всегда недоволен, кто-то пытается записать себя в «главные герои», тех, кто иницировал и продумал концепцию работы, хотя добавился уже под конец. Это сильно портит отношения между соатворами.
В кино научились платить пропорционально. Там побороли феодальную систему. Вау. Ну посмотрите, кто снимается у Тима Бертона или Кристофера Нолана. Это одни и те же люди. Победа над феодальной системой, ура. Посмотрите во сколько раз могут различаться доходы известных и малоизвестных актеров. Наверное малоизвестные актеры тупые … наверное было бы лучше, если бы вместо одного узнаваемого всеми Тома Круза, который уже одним фактом узнаваемости привлекает зрителей, каждый раз появлялся бы кто-то другой. Да их и не нужно много. Решение «проблемы» «несправедливой» оплаты ученых уже решено. Оно очень простое. Все ученые одного статуса получают примерно одинаковую зарплату. Если для их это менее важно, чем занятие наукой, они занимаются наукой. Если их деньги и справедливая оплата волнуют больше, они говорят досвидания, машут ручкой и уходят в индастри, либо открывают свой бизнес и там рубят бабла сколько смогут. Если деньги и пропорциональность так важны для вас, вы просто не годитесь в ученые, только и всего.
Читая статью мне показалось, что это черный юмор. Потом постепенно пришли на ум некоторые сравнения.
1.Когда-то начали бороться за демократию. Результаты борьбы могут видеть все. И конечно оценивать их, естественно, по-разному.
2.Когда-то начали бороться за рыночную экономику в стране. Каждый может оценить состояние нашей теперешней экономики (и науки в т.ч.).
3.Сейчас начинают бороться за оценку деятельности в науке. Мне кажется, что результат будет очевидно таким же, что и в п.1 и 2.
Вывод. В науке важна система управления. Она может иметь недостатки, но это гораздо лучше, чем не иметь ее вовсе.
дайтезарплату хотя бы как в еС а потом обсуждайте остальное
Критерии оценки успешности ученого должны быть объективными, не зависящими от субъективности директоров институтов и его окружения. Иначе в число таких успешных всегда будут попадать также, как и попадают после отмены ПРНД, только его приближенные -среди которых отнюдь не самые успешные ученые. ПРНД-хоть и имел недостатки, но все же имелись объективные критерии, которые независимо от симпатий начальников -определяли баллы успешности. После отмены ПРНД ученые, кроме избранного околодиректорского, вообще никаких поощрений не получают.
При этом также следует иметь ввиду, что а)работы российских ученых цитируются в WoS, Scopus etc только опубликованные после 1996г, и б)конкуренция в высокоимпактных журналах огромная…80 и более %% статей там не принимают сразу, в это число чаще попадают статьи российских ученых из-за несовершенства английского языка в статьях, в)новейшие направления науки публикуют новые журналы, имеющие пока еще низкий импакт-фактор. И главное-для того, чтобы в науку пришли наиболее одаренные и они могли публиковать свои научные результаты в высокорейтинговых журналах также, как американские и др, надо им создать такие же условия финансирования-зарплаты, пенсии, оборудование и пр. Иначе — требовать равной с этими западными учеными успешности при абсолютно неравных условиях жизни и работы в российской науке бесполезно.
Понятно, что со штатниками конкурировать трудно. Вопрос в другом. В том, чтобы наладить конкуренцию хотя бы между собой. Вот тогда наиболее достойным, тем кто потенциально мог бы конкурировать с западными учеными, можно было бы создавать соответствующие условия.
Между собой, игнорируя или не равняясь на штаты или Англию? Это мы в СССР проходили… несмотря на определенный успех, советские ученые не могли быть конкурентноспособными или даже общаться с зарубежными коллегами на равных, так как все методы, и базы данных и анализы -были специфические свои, никто на западе их не применял, потому сопоставимости не было. Я скептически отношусь к такой конкуренции внутри институтов и далее из-за рокового «А судьи кто?» Всем известно, что и в РФФИ и в программах РАН экспертами, от которых зависит судьбы проектов -одни и те же лица из когорты междусобойчиков…потому никакой объективности в оценке проектов нет. Зато отвергнутые проекты очень скоро оказываются исполняют те же самые эксперты, давшие отрицательные рецензии. Лично у меня так было. С поощрительными стипендиями будет то же самое. Абсолютная власть директоров институтов по новому проекту ФАНО -превратит институты в бюрократические структуры, где директор-как хозяин будет делать то, что ему хочется…это уже есть в ряде институтов, а теперь усилится. Из этого положения есть выход только один: состав экспертов сделать прозрачным (как в NIH US) и ротационным -не более 2-х лет. Экспертизу проводит только авторитетными профильными учеными, а не администраторами науки.
Пардон, это я неудачно выразился. Речь не о том, что надо строить «суверенную науку» и ни на кого не равняться. Надо пользоваться международными критериями. Но понимать, что мы, грубо говоря сравниваем тех, кто дает 30% и тех, кто дает 3-5%.
«Я скептически отношусь к такой конкуренции внутри институтов и далее из-за рокового «А судьи кто?» Я тоже. И это самый яркий показатель деградации научной среды и фактическое отсутствие вменяемой экспертизы.
«Экспертизу проводит только авторитетными профильными учеными, а не администраторами науки.» А кто судьи при отборе «авторитетных профильных ученых»???? В том-то и беда. Склонность многих полагаться на наукометрию (проблемы и недостатки которой хорошо известны) как раз не от хорошей жизни. А от сугубой ненадежности практически всех «экспертных» мнений. А при использовании наукометрии (как в ПРНД) есть хоть какой-то независимый элемент.
Казалось бы, известные недостатки наукометрии должны хоть как-то учитываться при её применении. А «реформаторы» из МОН и совета по науке при нём продвигают пороговую систему http://sovet-po-nauke.ru/sites/sovet-po-nauke.ru/data/press20140227/methodical-recommendations.pdf, в которой (грубо говоря) наличие N >> 1 статей в WoS ведёт к повышению зарплаты в разы, а те, у кого на одну статью меньше, остаются в том же положении что и те, у кого всего одна. Причём порог будет устанавливаться не по сущностным соображениям (пресловутый «мировой уровень»), а по финансовым (на сколько хватит денег). При этом никаких конкретных аргументов в пользу подобного порогового учёта наукометрии пока слышно не было.
Да, «пороговая система» — безобразие.
Denny: «А кто судьи при отборе «авторитетных профильных ученых»???? В том-то и беда».
Разумен подход «Корпуса экспертов по естеств. наукам». Судьи — ученые с неплохой библиометрией. Статистика показывает, что заметная доля ими избираемых — ученые с низкой библиометрией. Т.е. это работающая комбинация двух подходов.
silver: «Из этого положения есть выход только один: состав экспертов сделать прозрачным (как в NIH US) и ротационным -не более 2-х лет. Экспертизу проводит только авторитетными профильными учеными, а не администраторами науки.»
Согласен с этими предложениями. При этом РФФИ, если не ошибаюсь, до сих пор делает секрет из списка экспертов и не разрешает им признаваться, что они эксперты.
Думаю также, что эксперты для каждого объекта оценки должны выбираться среди тематически подходящих случайно и быть неизвестными организаторам экспертизы до ее окончания. Чтобы исключить давление на экспертов.
безнадега с экспертами -вы правы, экспертов тоже будут назначать администраторы науки и понятно как… Хороший был бы вариант -создавать международные экспертные советы по профилям, но в нынешней ситуации с украиной и крымом -вряд ли это получится. Единственное, что можно предложить -выбирать экспертов путем голосования онлайн зарегистрированными (строго) учеными в конкретной области. Список выдвигаемых ученых должен быть свободным-любой ученый может выдвинуть любого, а голосуют за каждого все профильные ученые страны. Созданный таким образом -по рейтингу среди коллег -экспертные Советы могут решать многие проблем, как с оценкой исследовательских проектов, так и по стимулирующим выплатам. Иначе -все будет еще хуже чем есть, напрасная трата денег, которые до конкретных ученых-групп просто не дойдут.
Среди голосующих всё-таки должен быть какой-то ценз — не каждый мнс разбирается, кто из старших товарищей чего стоит. В проекте «корпус экспертов» право голоса предоставляется тем, кого больше других цитируют, а вот те, за кого голосуют, не обязаны удовлетворять этому критерию — главное, что коллеги считают их экспертами. Однако власть имущим (обладающим правом формировать экспертные и прочие советы) такой подход не интересен. Поскольку при его применении в экспертный совет РНФ вряд ли бы попали четыре представителя Курчатника (больше, чем из всех институтов физического отделения РАН вместе взятых).
В современной экспериментальной науке (естественнонаучной) статьи пишутся по результатам исследований не одного года даже, и коллективом автором, так как такие работы проводит коллектив, часто -международный. И как тогда оценивать чей и какой вклад, кому и сколько платить. Удивительно -если начинают придумывать свое в управление наукой, то такое…, не говоря уж -во что в реальности превратится при том полном игнорировании голоса ученого в управлении как было и есть в РФ. Почему не учесть опыт стран, где мозги давно стабильно ценятся?
Думаю, с окончанием моратория нас ждет короткая и злая комедия. При ее просмотре наши попытки придумать мало-мальски справедливую систему будут вспоминаться с грустной улыбкой.
Согласен.
silver: «а голосуют за каждого все профильные ученые страны»
Либо — удовлетворяющие квалификационному (библиометрическому) критерию, как в «Корпусе экспертов по е.н.».