канд. хим. наук, до апреля 2015 года — науч. сотр. химфака МГУ
В последнее десятилетие в отечественной науке возрос интерес к наукометрическим методам оценки эффективности научных исследований. В Московском университете после длительного (несколько десятилетий) «ледникового периода» инициатива в этом деле исходила от ректората. Стоит вспомнить, что один из основоположников наукометрии профессор В. В. Налимов (1910–1997) работал на биологическом факультете МГУ и не раз обращался к руководству с предложением о развертывании наукометрических работ. Такое время наступило в начале второго десятилетия настоящего века. Предлагалось при конкурсном избрании учитывать такие индикаторы, как число публикаций в высокорейтинговых журналах, число ссылок, индекс Хирша и прочие признанные мировые научные стандарты.
Следующий шаг в этом направлении — весна 2015 года. В приказе ректора академика В. А. Садовничего за № 136 от 2 марта 2015 года руководителям структурных подразделений предписывалась разработка Положения о персональном рейтинге научного сотрудника (ПРНС) структурного подразделения [1]. При первичном избрании следует объявлять конкурс только в том случае, если у кандидата его ПРНС превышает средний ПРНС подразделения по данной должности. При повторном избрании срок заключения контракта (пять лет, три года, один год) зависит от значений ПРНС кандидата и значений рейтинга подразделения. По распоряжению ректора № 70 от 1 апреля 2015 года руководители структурных подразделений представляли в секретариат Ученого совета МГУ пороговые значения рейтинга по должностям научных сотрудников. В пояснительной презентации отмечено, что каждое подразделение разрабатывает свой ПРНС и способ его расчета по предлагаемым формулам. Формулы включают количественные показатели результативности научной и учебной работы, привлеченное финансирование и пр. за определенный период времени, учитываемые при расчете ПРНС. Их веса и соотношения определяются самими подразделениями [2].
Ряд подразделений представили свои предложения. В них показаны расчеты количества баллов для каждого показателя, суммирование баллов и сопоставление суммы с пороговыми значениями ПРНС для каждой должности. Например, в предложениях механико-математического факультета баллы для монографии определяются произведением 5 на число страниц, произведение затем разделяется на число соавторов.
В предложениях факультета вы-числительной математики и кибернетики статья в международном журнале получает 3 балла, научная монография (учебно-методическое пособие) менее 5 печатных листов имеет 2 балла. В предложениях химического факультета баллы за научную статью определяются по формуле: баллы = IFx50/√n, где IF — импакт-фактор журнала, определяемый из баз данных цитирования Web of Science или Scopus, n — число соавторов.
Таким образом, здесь используются баллы, количественно оценивающие эффективность деятельности научного сотрудника. Полезно рассмотреть опыт использования баллов в отечественной науке для решения поставленной задачи. В конце 1960-х годов у нас в стране проводился эксперимент по применению методик оценки труда ученых. Заметное распространение получила так называемая карповская система по имени ее разработчиков из Физико-химического института им. Л. Я. Карпова. Система получила название «карповской лесенки», так как научных сотрудников перемещали по должностям и окладам сообразно баллам, выставляемым экспертной комиссией. В эксперименте приняли участие около 70 академических и отраслевых научно-исследовательских организаций. Эксперимент показал, что применение баллов для произвольно выбранных критериев дает менее надежные результаты по сравнению с использованием обычных экспертных оценок. В балльных оценках результаты, одинаковые по публикационной форме, признаются равноценными и не определяются качеством представленной информации. Балльные оценки «срезают» выдающиеся достижения. Остаются неясными вопросы выделения индивидуальных вкладов из коллективных достижений. При рассмотрении вкладов выпадают ряд функций научных сотрудников, выполняемых в интересах всего коллектива. Это, например, коммуникативная функция — распространение новой ценной информации. Важную роль играют исследователи, продуктивные в выполнении научной критики. Не следует забывать и об ученых, помогающих преодолевать «тормозящее поле», возникающее при появлении и распространении новых идей. И это только часть критических замечаний по поводу баллов. Результаты эксперимента с баллами не получили одобрения научной общественности, эти работы не были продолжены.
Введение рейтингов в Московском университете — это по сути дела возврат к карповской системе. Несистемное использование некоторых наукометрических индикаторов (о них ниже) не изменяет данный вывод. Различия в выборе индикаторов, формул расчета баллов и пр. показывают отсутствие единой методической основы оценки эффективности научного труда. Может, получаемая при этом «лестница» не такая крутая, как карповская, но и она способна причинить множество «травм» различной тяжести научным сотрудникам.
Отметим некоторые особенности применения ПРНС. Наибольшее распространение получили варианты импакт-факторов журналов из баз данных научного цитирования, а также индекс Хирша. Нигде не отмечались недостатки этих индикаторов. А вот действительно важный индикатор — суммарная цитируемость публикаций научного сотрудника — встретился только в трех из двух десятков предложений.
Концептуальная основа оценки эффективности научного труда разработана в наукометрии. Это информационная модель развития науки. В ней публикации являются носителями информации, журналы — каналами связи, библиографические ссылки — особым языком научной информации, показывающим воздействие цитируемых работ на развитие информационных потоков.
Науку можно рассматривать как процесс получения новой информации. Она представляется как самоорганизующаяся система, развитие которой управляется ее информационными потоками. Внешние условия — ассигнования, отпускаемые на развитие науки, организационные формы, идеологическое давление, секретность — это элементы среды, в которой развивается наука. Среда может быть благоприятной или неблагоприятной для развития науки, но она не может заставить науку развиваться в каком-то чуждом ей направлении. Выбором модели определяется постановка задачи и решается основная методологическая проблема: что и как надо измерять и с каких позиций интерпретировать полученные результаты.
В. В. Налимов утверждал, что обращение к наукометрии становится возможным после выяснения структуры науки. Ее структура задается системой библиографических ссылок. Ссылки связывают публикации между собой и таким образом структурируют информационный поток. Поэтому в наукометрии анализ библиографических ссылок занимает особое место. Так как наука погружена в социальные структуры, на систему библиографических ссылок заметно воздействуют такие искажающие ее факторы, как языковые, идеологические и политические барьеры. Но эти факторы всё же не разрушают систему внутренних связей между публикациями.
Авторы первой в мире книги по наукометрии В. В. Налимов и З. М. Мульченко полагали, что к сбору информации для оценки цитируемости следует подходить очень продуманно и количественные оценки необходимо дополнять смысловым анализом [3].
В зарубежных работах по эффективности научного труда преобладает содержательная экспертиза с опорой на наукометрические индикаторы [4]. Наукометрические данные дополняются информацией по получению престижных премий, званий, членством в академиях, экспертных советах, редколлегиях журналов, заказными докладами на широких конференциях и пр.
Несмотря на успехи в решении обсуждаемой проблемы, остаются вопросы, требующие осмысления. Один из них — выделение индивидуальных вкладов из коллективных достижений. В этом могут быть полезны представления современного менеджмента. Одно из его положений — результат любой работы равен потенциалу минус вмешательство. К вмешательству относятся проверки, контроль, приказы и т. п. Вот как об этом сказано в публикации [5]: «Вопреки распространенному мнению, они, оказывается, не помогают выполнению работы, а существенно мешают ее успеху. Вмешательство подрывает доверие, провоцирует страхи, более того, оно неизбежно вызывает сопротивление». Таким образом, вопрос об индивидуальных вкладах не рассматривается и основное внимание уделяется оценке эффективности исследований научных коллективов. При этом важно сохранить их творческий микроклимат.
Естественно, при широком развертывании наукометрических исследований при оценке эффективности научного труда будут встречаться случаи недостатка информации для принятия обоснованных решений. Здесь применимы представления одного из направлений современного менеджмента — так называемый альтернативный менеджмент (АМ). Одно из основных положений АМ — это соотношение «98/2», выдвинутое американским специалистом по управлению качеством Демингом. Соотношение показывает, что 98% проблем организации работы зависят от системы — среды, в которой работают сотрудники и в соответствии с которой они выполняют свои функции. И только 2% проблем связаны с неудачными действиями персонала. Поэтому основные усилия должны быть направлены на совершенствование системы с целью получения дополнительной информации. Это дело относится к функции менеджмента.
Еще одно важное положение АМ — отказ от наказаний в любой форме, что существенно при интерпретации результатов применения наукометрии. Успех организации определяется вовлечением всех сотрудников в улучшение дел, а страх наказания за неумелые действия, совершение ошибок и пр. делает такое вовлечение проблематичным. Наказание за неудачи и ошибки связано с унижением человека, а отказ от наказаний приводит к улучшению микроклимата в коллективе, повышению творческой отдачи сотрудников.
Вот как оценивают ситуацию авторы книги по альтернативному менеджменту Г. Н. Фидельман, С. В. Дедиков, Ю. П. Адлер: «…Мы все вышли из этого мира репрессивного менеджмента. Мы впитали его принципы, приемы и методы с молоком матери, они вросли в нас, стали неотъемлемой частью нашего мировоззрения, нашей психологии, нашего поведения. Абсолютное большинство менеджеров и простых работников даже не представляет, что возможна иная система отношений в компаниях, основанная на принципиально новых подходах» [6, с. 9].
Из сказанного выше следует, что применение баллов при оценке эффективности научного труда не сможет привести к хорошим результатам. Чем быстрее произойдет отказ от предлагаемых персональных рейтингов научных сотрудников Московского университета, тем лучше. Следует использовать подходы с широким применением разнообразных наукометрических индикаторов, принятых в передовых по развитию науки странах. Эти подходы полезно сочетать с представлениями современного менеджмента.
3. Налимов В. В., Мульченко З. М. Наукометрия. Изучение развития науки как информационного процесса. — М.: Наука, 1969.
4. Руководство по наукометрии: индикаторы развития науки и технологии: [монография] / Акоев М. А., Маркусова В. А., Москалева О. В., Писляков В. В.; [под ред. Акоева М. А.]. — Екатеринбург: Изд-во Урал. ун-та, 2014.
5. Адлер Ю. П. Оцифрованный ученый (в печати).
6. Фидельман Г. Н., Дедиков С. В., Адлер Ю. П. Альтернативный менеджмент. — М.: Альпина Бизнес Букс, 2005, с. 9.
Статью посмотрю завтра – рабочий ящик мне из дома недоступен.
все эти рейтинги лишь увеиличивают бесправие и так нищих сотрудников ог произвола администрациии кроме того они противоречат и трудовому кодексу рф как и контрактам заключаемым в мгу с ппс и нс комменты в адрес персоны юв Грановского нелепы и смешны видно писались малограмотными студнями или аспирантами
Прочитал Ваш «грамотный» коммент, с полным отсутствием знаков препинания. Лень даже что-то Вам доказывать, в какой-то мере система рейтингов сама все покажет, кто студень, а кто с 1950 года рождения уже который год просиживает штаны на пенсии, не давая активным и молодым возможности для роста или закрепления в науке.
оюьезный у меня презрительно отношение к заборас типаэтого и так сойдет т рльлм править зппятые орфографию кжел младщих еорректоров редактороа ровно адекватная позицич для малограмотных студняей аспирантов те вашего уровня пиплов
любезный еще раз не малограмотным студням и иаспирантам судить как должны работать профессорам МГу каждый сверчок знай свой шесток
Есть два разных вопроса.
1. Классификация сферических коней по радиусу (то бишь рейтингу).
Первая сугубо теоретическая проблема: можно ли вычислить рейтинг по индексам с приличным приближением. Вторая сугубо теоретическая проблема: можно ли вычислить рейтинг по инструкциям и контрактам с приличным приближением. Здесь состоялось обширное и, надеюсь, плодотворное обсуждение обоих вариантов.
2. По каким реальным критериям будут увольнять. Почти на 100% уверен в том, что вопрос будет «спущен» на локальный уровень. Местному начальству для увольнения никакие формальные критерии не нужны: оно и так всех знает и будет действовать (хорошо или плохо) по собственному усмотрению. Чем оно при этом будет прикрываться — индексами или инструкциями — практически никакой разницы не видно.
реалььно в рейтинге МГУ роль цитирования и индекса хирша о чем тут да и не только тут все так переживают по сути копеечная да и потом юридическая значимость всех этих рейтингов вовсе не очевидна
Сейчас многие начали пользоваться индексом научной активности sciin.ru Говорят, удобно.