Открытое письмо в ФАНО и Минобрнауки
Как известно, оценка работы ученых производится в настоящее время с достаточно широким использованием наукометрических показателей, и, в первую очередь, индекса Хирша1 [Hirsch, 2005]. И, как бы к этому ни относится (см., например, статьи Д.Гельтмана; А.Дмитриева, А.Полянина, Rousseau R. и др.), сие использование индексов есть объективная реальность, существующая вне зависимости от наших на то желаний и даже где-то чаяний.
Итак, поговорим об индексе Хирша, точнее об острой необходимости его модернизации. Мы же все-таки ученые, и коль скоро нас оценивают по какому-то критерию, то уж, наверное, научный разум (в том числе и коллективный) должен бы этот критерий постараться привести в порядок и сделать возможно более объективным, а не просто выгодным и удобным определенным отдельным группам. Если он конечно разумный, этот разум-то. Как известно, высокую величину индекса Хирша многие научные работники, особенно физико-химики, материаловеды и др., очень быстро набирают коллективными публикациями на популярные темы, сверхпроводимость какую-нибудь и пр. Причем у такой широко цитируемой статьи количество материаловедов соавторов может быть и 10, и 30 и более (до 2000 и более соавторов!). Индекс же Хирша, как известно, вырастет при этом у всех соавторов вне зависимости от их количества, причем на ту же самую величину, как и в том случае, если бы все они были единственными авторами той замечательной, широко цитируемой статьи. Но все-таки для оценки личного вклада исследователя в науку (а для этого собственно главным образом и применяется индекс Хирша) есть, наверное, разница – один он был автором статьи, открытия и пр., или же их было человек 50 или более.
Поэтому предлагаю ввести «Хк – индекс Хирша корректированный». Этот коэффициент считается также как индекс Хирша, но при этом количество ссылок на конкретную статью делится на число соавторов этой статьи. Причем первый автор публикации (только он один!) учитывается два раза. Поскольку все-таки есть разница (или, по крайней мере, – должна быть) между первым автором и другими соавторами. Во многих здоровых научных коллективах, как известно, обычно используется такой принцип – первый автор статьи это есть её главный автор, остальные же соавторы идут просто по алфавиту. Чтобы не мудрить лишнего и попусту не заниматься регулярными разборками «кто есть ху» (как сказанула одна известная «голова с заплаткою»).
Пример: опубликовали статью трое – П.Петров, С.Сердюков и Е.Васильева и на статью есть 60 ссылок. Эти ссылки делятся в пропорции, причем как если бы Петров был дважды соавтором – Петров, Петров, Сердюков, Васильева. Тогда у первого автора Петрова эта статья будет фигурировать как имеющая 30 ссылок, у Сердюкова с Васильевой – как статья с 15 ссылками. Если авторы этой статьи лишь Петров и Сердюков (ну, вот опять Васильеву слили…), то у Сердюкова она будет иметь 60:3=20 ссылок. А у Петрова 60:3×2=40 ссылок.
Итоговая картина (карта науки) с применением Хк будет гораздо объективней, чем имеющаяся сейчас – с использованием h Хирша. Но конечно шансов на жизнь предлагаемому коэффициенту Хк сильно убавляют материаловеды и пр., сбившиеся в крупные стаи и уже поимевшие благодаря этому высокий индекс Хирша. Так, у материаловеда академика К.А. Солнцева (бывшего [ли!?] управляющего делами РАН – многие эти «дела» недавно широко освещались в прессе и TV) h Хирша =14. Из этих 14 статей нет ни одной единоличной, и лишь в двух он первый автор. Количество соавторов чаще всего 6, К.А. Солнцев обычно последний или предпоследний. И это совершенно не худший пример, а рядовой (“нормальный”, если такое слово можно в таких случаях применять). Некоторые же можно сказать, как бы пишут как бы целыми институтами. Так, список соавторов в реально первой же попавшейся мне такой статье [Physics Letters B. 2012. Т. 710. С. 26-48] занимает 58 строк, примерно по 5 соавторов в каждой строке (по головам-то мне лень их считать было…). Я нисколько не сомневаюсь, что эта статья очень хорошая, раз на нее уже есть 21 ссылка, но все же согласитесь, что по такой публикации, наверное, трудно оценивать индивидуальную работу примерно 280 человек (соавторов)…
А так-то введение в практику предлагаемого индекса Хк имело бы с течением времени и большой положительный моральный эффект, поскольку он еще и направлен против фальшивого соавторства.
Еще полезнее было бы заменить используемый сейчас индекс Хирша на Ck –индекс цитирования корректированный, т.е. общую сумму цитирований того или иного автора, с учетом соавторства по описанной выше процедуре.
Действительно, согласитесь, не вполне понятно, почему ученый, написавший, скажем, 20 статей, на каждую из которых сослались по 2 раза (итого 40 ссылок, h Хирша=2), должен считаться гораздо менее научным, чем ученый, написавший 6 статей, на которые по 6 ссылок (итого 36 ссылок, h Хирша=6, т.е. в 9 раз выше, чем у первого [6×6]:[2×2]=9). Вопрос – на каком таком основании второй хоть сколько—то (хоть на миллиметр!) “научнее” первого?! Этому нет доказательств2.
Еще одна очевидная проблема – это учет и минимизирование влияния самоцитирований. Так, например, один член-корр. из института, где я работаю, ссылается почти исключительно только на себя, любимого. И ничего так живет, не тужит. В целом это плохой признак. Получается, что человек слышит только сам себя. Я даже предлагал [Иванов, 2011] ввести коэффициент с названием Кгл– коэффициент глухоты (или глухаря). Для любой публикации
Кгл = Nсвоих : Nобщее,
где Nсвоих и Nобщее, соответственно, количество ссылок на самих себя (соавторов публикации) к общему количеству цитированных в данной публикации работ.
Мне кажется, что если при репрезентативной выборке (например, в геологии обычно начиная с 8 и более [в данном контексте – ссылок в публикации]) Кгл более 0,4 это уже плохо, ну и чем ближе к 1,0 тем, наверное, больше оснований начинать лечиться от мании величия.
И все же полностью, на 100% выкидывать самоцитирования, возможно, и неправильно – например, ученый работает в очень узкой области науки (но кто ж его знает, вдруг именно она-то в итоге и осчастливит многострадальное человечество?!). Поэтому предложение сводится к тому, чтобы учет самоцитирований отчасти все же оставить, но по «цене» на порядок более низкой.
В общем, переходя от рассуждений к конкретике, предлагаю минимизировать влияние обильных самоцитирований следующим образом:
Ck (индекс цитирования корректированный) × (110% – число самоцитирований по elibrary в %) : 100.
Т.е., например, ученый с Ck = 500 (т.е. имеющий 500 «корректированных цитирований») и числом самоцитирований 70% (оно есть в e-library) будет иметь чистый индекс цитирования (можно назвать его Сс от clear, чистый)
Сс = 500 × (110 – 70) : 100 = 500 × 0,4 = 200.
Итак, я утверждаю, что Сс, т.е. чистая общая сумма цитирований всех научных статей (т.е. деленная на кол-во соавторов и избавленная от влияния самоцитирований, как описано выше), есть гораздо более объективная характеристика научного вклада того или иного ученого. В той мере, как это пока можно объективно и беспристрастно (автоматизировано) учесть, причем чрезмерно не заморачиваясь. Так иногда высказываются предложения учитывать еще и рейтинг журналов, но я с этим не могу согласиться. Во-первых, в принципе значимость научного результата не зависит от места публикации. Во-вторых, количество ссылок этот рейтинг журналов итак учитывает – если статья опубликована в престижном журнале с высоким тиражом и рейтингом, значит, ее прочитают больше ученых, соответственно (если в статье есть смысл) на нее и будет больше ссылок. В-третьих, это реально головная боль, все эти индексы непрерывно отслеживать, что-то там умножать, интегрировать и пр.
В-четвертых (last but not the least), наиболее высокорейтинговые англоязычные журналы сплошь и рядом не публикуют статьи русских ученых, если в их коллективе нет иностранцев. Английский язык де плохой, еще какую-нибудь якобы причину сыщут. В результате отечественная наука переходит в подчиненное положение, а чисто наши достижения зачастую становятся некими “общими”. Есть на этот счет и удручающая статистика и примеры такие знают, я думаю, очень многие ученые. Чисто чтобы не быть голословным – приведу один из своих. Написали мы как-то с отцом мощную прорывную статью. Идея была его, я был помощником, переводчиком, «адвокатом дьявола» и пр. И послали в наиболее престижный журнал по теме. Вскоре приходит ответ от американца – статья, мол, неплохая, но, естественно, нуждается в доработке, а с таким американским (английским языком) мы ее принять все равно не сможем, я бы, дескать, мог его улучшить, но я лишь член редколлегии и рецензент, но вот если бы я был вашим соавтором, статья бы, конечно, вышла без проблем. Именно вот так. Видит белый господин, что туземцы с алмазом бегают, прямо грех не попробовать отобрать. Думаю, что если б такое письмо было написано, скажем немцу, вышел бы большой скандал (а может и не вышел бы, с учетом что и у фрау Меркель американцы телефон прослушивают), во всяком случае, такое письмо немцу вряд ли бы было написано. Некоторые в такой ситуации соглашаются (мне известно много подобных примеров), но мы статью сразу забрали, послали ее в другой менее рейтинговый, но тоже американский журнал, где она сразу была опубликована [Ivanov, Ivanov, 1993], без каких-либо изменений и/или нареканий на качество языка. Но ссылок на нее сейчас, увы, немного (10), т.е. примерно на порядок меньше, чем если бы публикация была бы сделана в первом журнале.
Еще один немаловажный момент, который необходимо учесть. Любой индекс цитирования, во-первых, есть величина сильно инерционная (поскольку ясно, что при прочих равных на только что вышедшую статью будет меньше ссылок, чем на опубликованную лет 5 назад), во-вторых, не учитывает тот факт, что если на статью нет или мало ссылок, то это еще не приговор. Не свидетельство её никчемности, ненужности и пр. «Позитивных причин нессылаемости» может быть достаточно много. Например, статья «слишком умная», или намного опередила своё время и соответственно её время еще придет. Или в статье рассматривается какой-то узкий научный вопрос, которым сейчас почти никто более не занимается. Да хоть бы и совсем никто – не всему же научному человечеству одни бозоны Хиггса изучать…, есть и менее популярные научные темы. Скажем изучение каких-нибудь ну совсем несъедобных мшанок моря Лаптевых. Опять же знать не можно – а вдруг именно в этих мшанках и содержится мощнейшее лекарство, допустим, от инсультов. Глядишь, и не хуже «бозонов» в итоге окажется. Короче говоря – если статья написана и опубликована в настолько открытой печати, что попала, например, в базу e-library – это уже должен быть какой то плюс ее автору. И используемый итоговый наукометрический коэффициент (назовем его – суммарный научный индекс Si, от scientific index) должен отличать, скажем, ученого, опубликовавшего за последние 5 лет 20 статей, на которые нет пока ссылок, от ученого, вообще ничего не опубликовавшего.
И обеспечить это проще простого:
Si = Сс + n,
где n – число публикаций данного ученого в базе elibrary.
Можно рассчитывать не только суммарный (совокупный за всё время работы ученого) Si, но и величину этого индекса для характеристики работы ученого за последние 5 или 10 лет (Si5 и Si10 соответственно).
Введение предложенных наукометрических коэффициентов для объективной оценки научного труда в России необходимо именно сейчас, в момент реорганизации науки и грядущих видимо неминуемых сокращений штатов. Прикидки затрат времени показывают, что примерно 7-8 рядовых сотрудников, скажем ФАНО, всего лишь за 1-1,5 месяца смогут рассчитать Si, а также Хк, Ck, Сс всех работающих в РАН. Можно и того проще – поручить институтам самим рассчитывать. Если же всё оставить «на усмотрение» чиновников, то сокращать будут, вероятнее всего, просто ученых, неугодных местному начальству, без какой-либо объективности, совершенно бюрократам не нужной. При этом “достижения” холуёв, естественно, объявят «результатами намного превосходящими мировой уровень..» и т.п. Бумага то она, как известно, всё терпит, особенно если пишут по ней организмы, пораженные ржавчиной коррупции.
Призываю коллег к обсуждению затронутых вопросов.
Всем удачи!
Кирилл Святославич Иванов,
доктор геол.-мин. наук
Литература
- Гельтман Д. Не Хиршем единым… ТрВ №111. 28 августа 2012 г.
- Дмитриев А.И. Интегральный наукометрический показатель. ТрВ. 06 июня 2014 г. Рубрика: Гайд-парк онлайн
- Иванов К.С. Коэффициенты соответствия занимаемой должности и «блата» — новые (альтернативные) наукометрические показатели для объективной оценки научного труда в России. ТрВ. 09 апреля 2014 г. Рубрика: Гайд-парк онлайн
- Иванов К.С. К истории изучения Платиноносного пояса Урала // Уральский геологический журнал. 2011, №2. С.51-57.
- Полянин А.Д., 2014. Недостатки индексов цитируемости и Хирша. Индексы максимальной цитируемости. http://eqworld.ipmnet.ru/ru/info/sci-edu/Polyanin_IndexH_2014.html
- Ivanov S.N., Ivanov K.S. Hydrodynamic Zoning of the Earth’s crust and its Significance /Journal of Geodynamics, 1993, vol. 17, N 4, p.155-180.
- Hirsch J.E. An index to quantify an individual’s scientific research output. Proc. Nat. Acad. Sci. // 2005. V. 102(46). P.16569–16572.
- Rousseau R., Garcia-Zorita C., Sanz-Casado E. The h-bubble //Journal of Informetrics. 2013. V.7. P. 294–300.
1 Индекс Хирша является количественной характеристикой продуктивности учёного (реже — группы учёных). Учёный с индексом h опубликовал h статей, на каждую из которых сослались как минимум h раз.
2 Близкое по смыслу предложение было высказано А.Д.Поляниным (2014), предложившим ввести «индекс максимальной цитируемости (f-индекс)», считаемый по 5 наиболее цитируемым работам ученого (суммируются ссылки на них с учетом соавторства). Но тут, во-первых, не понятно, почему берется именно 5 работ? А не все? И чем, например, хуже шестая? А, во вторых, получается явный крен в пользу обзорных, а также научно-популярных и тому подобных «вторичных» статей, нового научного знания, как правило, не несущих.
Тут все еще сложнее: один человек пишет, но 30 что-то делали для того, чтобы эта работа была возможна. Все 30 — в авторах. У нас так.
Вот именно. Писать статью в моей области — не великое дело. После первых двух десятков это становится рутиной. А вот сделать работу, по результатам которой пишется статья — это большое и нетривиальное дело.
1) ну с последними комментариями согласиться трудно.
Если в вашей области, писать статью дело невеликое, значит область эта к науке не относится. Т.е. в ней не требуются интеллектуальные усилия, обработка данных и т.п. Значит, это не наука просто. Мне встречались люди даже в чине директора, которые именно так и думали, что «писать статьи дело невеликое». И вот поэтому их статьи и «великие» результаты никому неизвестны и опубликованы только в местнх мурзилках.
Я же писал о настоящей науке, в которой главным является мысль и слово, идущие вместе. А не отвертка и масленка…как бы полезны они не были.
2) Насчет другого комментария о том, что включают 30 человек, кто рядом стоял…можно только вздохнуть и посоветовать не делать этого. Закройтесь с аспирантом на неделю, оденьте халаты, и сделайте. И не надо никого включать будет.
Я работаю в области молекулярной биологии-биофизики-физиологии-фармакологии. Вначале — идея. Потом ее реализация. Побор и настройка методик, как экспериментальных так и теоретических. Дизайн комплекса экспериментов для доказательства. Осуществление экспериментов. Корректировка-обработка. А потом уже написание статьи по материалам проделанной научной работы. Сами же тексты довольно шаблонные. Без особых красивостей. Ценится то, что сделал, а не то, как написал. Не красивость текста. А изящность идей, подходов и экспериментов.
У многих так. Сложно доказать новую теорему. Расписать уже сделанное доказательство гораздо проще. Сложно решить запутанную проблему. Описать готовое научное решение — дело нехитрой техники. А красивости текста, за которыми нет собственно научной работы, у нас мало кого волнуют.
А вы в какой области работаете? У нас эксперименты на ускорителе. Круглосуточные дежурства. Много систем, каждую из которых кто-то делал. Сложнейший софт, у которого куча разработчиков. То-есть 30 человек, без каждого из которых работа бы не состоялась. И закрывшись вдвоем с аспирантом нашу работу не сделаешь. И так поступают во всем мире в нашей области.
ну с ускорителями понятно — это да. Я имел ввиду случаи, когда «приходится вписывать 30 человек». Ведь так было написано? Вот так и подумалось.
А в случае ускорителя просто работают 30 человек. И они должны быть вписаны.
Что касается «красивостей» и шаблонности статьи.
Остаюсь при своем мнении — наука начинается там, где есть место для формулирования результата в слова. Если результат новый (не шаблонный), то и статья требует очень много творчества, как об этом написать.
Если вы первый открыли какие-то икс лучи, которым до вас названия даже не было, нужно много сил, чтобы о них написать. Это становится главной работой.
Если вы определили параметр решетки в 234567-м по счету соединении…и решили, что это достойно статьи…, то да…тогда «красивости» ни к чему. Да и сама статья тоже.
«К чему» статья или «ни к чему» решают редакторы журналов. Мне жаловаться не приходится.
«Если вы первый открыли какие-то икс лучи, которым до вас названия даже не было, нужно много сил, чтобы о них написать.»
Вот не могу согласиться. Приведите данные экспериментов, доказывающие существование лучей. Опишите так, чтобы это было понятно. И будет Вам честь и хвала и вся мировая наука аж содрогнется от удовольствия. Серьезные открытия в демагогии не нуждаются. Это как раз чтобы опубликовать «параметр решетки в 234567-м по счету соединении», нужно постараться написать так, чтобы выдать это за результат.
Извините, но мне просто смешно читать, что описание научной работы важнее и сложнее самой научной работы. Разве что для каких-то несчастных, которых бог совсем обделил умением излагать свои мысли.
не. не так.
практика показывает, что очень легко публиковать статьи с «адиабатическим» — несущественным — прогрессом.
кардинально новые — прорывные — открытия как правило очень сложно протолкнуть в ведущие журналы. эти результаты как правило сначала появляются в журналах второго плана, будучи перед этим отвергнутыми такими журналами как Nature или Phys. Rev. Letters, etc.
Это верно. Получить признание и заработать репутацию в этом мире непросто. Но опять-таки, в моей области это не достигается писанием.
«Приведите данные экспериментов, доказывающие существование лучей.»
…
идеализм. научное общество чрезвычайно консервативно и крайне завистливо.
Уважаемые коллеги,
Лучший способ оценки научной статьи — это конечно ее цитируемость коллегами — для которых статья и пишется. Но если цитируемость имеет существенные последствия, а работа оценивается по этому критерию неспециалистами, то крайне желательно найти цитируемость авторов, на которых в работе есть, скажем, две ссылки. Лучше бы определить цитируемость всех, кто кто цитирует данную статью, но это практически почти невыполнимо.
Одно дело, если цитирует тебя ученый с мировым именем, и другое — если сосед по кабинету…
ЮНЕ
Denny непреклонен в своей решимости…молодец. Продолжайте думать, что занимаетесь «наукой» в своем салоне сотовой связи. Тут, как говорится, если нужно объяснять, то …объяснять не нужно))
Печально на этом сайте…иногда смешно, но чаще печально. Начинаешь понимать, что дело не в Путине и не в Ливанове. А вот в самих нас…
А при чем тут салон сотовой связи? Я в своей лаборатории занимаюсь. Можете посмотреть сами. Tikhonov DB. WOS Вам в помощь.
Пичалька на этом сайте в том, что люди, причисляющие себя к ученым, без промедления переходят на личности, если встречают мнение, не соответствующее своему.
Просто это издержки того, что люди не видят, с кем они там говорят, когда пользуются никами. В результате доктора наук ищут в друг друге невежд, общаются между собой соответствующим образом (немыслимым в реале), обижаются, и все это происходит на сайте, где главред, тоже доктор, наблюдает сплошь платных копеечных провокаторов в этих докторах. И поди объясни, что большинство — все-таки интеллигентные люди, просто жаждущие поиграть в алкоголиков и гопников, ну и немедленно обидеться, если их действительно примут за таковых… Нормально это всё? Кстати, гопники тут тоже появляются, как без них.
Я совершенно без наезда на сайт. ИМХО, это как раз полезная практика — пообщаться с человеком, не зная, какой ширины у него лампасы. Как бы становится видно, кто есть кто по сути.
индекс Хирша интересен для академической (то бишь университетской — в западном понимании) науки. там нет гигантских коллективов и легко определить, кто что сделал.
«массовые захоронения» авторов появляются в статьях на гигантских установках — ускорителях и т.п. это в сущности промышленное производство, где каждый «неизвестный солдат» в списке авторов — просто винтик, и индекс цитирования для него неважен.
Любой индекс — это статистический показатель. Он хорошо работает только на крупных выборках: на лабораториях, институтах и т.п. Поэтому логично ратовать за то, чтобы его к группам и применяли, а не к отдельным людям. Но статья постулирует, что применяют его к людям, и как бы нам придумать такой индекс, который бы не подчинялся законам математической статистики, а наоборот говорил правду. Во-первых, хорошо бы для начала привести примеры того, что он на самом деле уже применяется к отдельным людям и кого-то уволили за низких хирш. Во-вторых, статья фактически предлагает начать применять эти индексы к отдельным людям после каких-то улучшений. Мне кажется, это совсем не хорошая идея. То есть это можно делать в частном порядке, но государству ничего подобного точно не следует советовать ни с камими индексами, даже более лучшими.
Штовба С. Д., Штовба Е. В. Обзор наукометрических показателей для оценки публикационной деятельности ученого / Управление большими системами. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой, 2013. С.262-278.
http://shtovba.vk.vntu.edu.ua/file/85c73de0112a8fe33d55b868a5d6ca50.pdf
Крути-не крути, а индексы нужны.
Мы ученые, нам порядок подавай.
Иначе- полный хаос в оценке деятельности.(Кому чего и сколько??).
Поэтому приведенное предложение Иванова следует рассматривать и обсуждать.
(правда не вс ФАНО или МОНе, там народ из другого теста, они просто все испоганят)
Другое дело, что никакой индекс не заменит (порядка в 60% случаев оценивания) экспертной оценки результатов ученого за последние 5-10 лет.
Для этого я предлагаю использовать некий накопительный индекс
(аналог индекса тори или Иванова) (см ТрВ гайд парк от 16.09.13)
и каждый 5 лет защищать свои результаты на Уч совете.
И получать следующую уч. степень (читай ссылку).
Такая степень- это тебе не убогий «хирш»! Это настоящая экспертная оценка!!!
И не надо «тупого» отрицания.
Наличие уч. степеней — это и стимул, и надежда молодых на научную карьеру,
и мат достаток трудягам.
Вперед!!!(к победе разума)