Принято считать, что в экспериментальной биологии уровень работ более или менее коррелирует с уровнем журналов, в которых они опубликованы. И что уровень журнала более или менее коррелирует с его импакт-фактором (ИФ). Это не всегда так. Например, крайне уважаемый Journal of Biological Chemistry имеет вполне приличный, но отнюдь не высокий ИФ.
Три журнала по экспериментальной биологии растений (Plant Science) в 2012 году имели очень близкие ИФ (3.3–3.6), но отчетливо разные уровни. Старшие товарищи даже употребляли слово «несопоставимо». Plant Molecular Biology (PMB) нацелен на понимание молекулярных механизмов, Planta принимает статьи про разные аспекты жизни растений, Plant Cell, Tissue and Organ Culture (PCTOC) — нишевый журнал приличного, но невысокого уровня.
Анализ значений импакт-фактора
Ситуация начнет проясняться, если мы заглянем в Science Journal Rankings (SJR). В категории Plant Science — 332 журнала. Позиция 16 — РМВ, позиция 28 — Planta, позиция 72 — Р СТОС (для 2012 года). Если отбросить чисто обзорные и грибные журналы, то РМВ попадает в первую десятку. Почему же РСТОС и РМВ имеют одинаковые импакт-факторы (3.5–3.6)?
Попытаемся собрать сведения на портале Scientific Journal Rankings (www.scimagojr.com, далее SJR). С 2005 по 2010 годы импакт-фактор у Tissue and Organ Culture колебался на уровне 1.2–1.3. А затем последовал взрыв цитируемости (рис. 1). И достигнуто это было за счет внутреннего цитирования — цитирования статей журнала внутри этого же журнала. То есть фактически самоцитирования, но не на уровне авторов, а на уровне журнала. В 2012 году внутрижурнальные ссылки дали 55% цитирований для подсчета импакт-фактора. К тому же с 2010 по 2012 год доля статей, которые не (!) процитировали в следующем году, снизилась с 31,7% до 10,5%.
Может, это типично для журналов Plant Science? Нет. Доли внутреннего цитирования и нецитируемых статей коррелируют (табл., рис. 3). У сильных журналов они низкие, у слабых — высокие. Но мне удалось найти похожий журнал — PMB Reporter (№ 67, ИФ=5.3) (рис. 2). Всё так же: с 2010-го по 2012-й — резкий рост цитирования, в основном за счет внутреннего цитирования, и падение доли нецитируемых статей (с 60% до 9,4%).
РСТОС: как это выглядит при близком знакомстве
Разобрало меня любопытство, и я проверил цитирование в оriginal articles у Tissue and Organ Culture за первые 9 месяцев текущего 2014 года (v116-118). 115 статей содержат 115 ссылок на статьи РСТОС за 2012–2013 годы («импактные» ссылки). А еще есть ссылки на другие журналы.
Давайте сравним «ссылки на себя» и «ссылки на других». Для «импактных» годов соотношение одно — 1:4.5 (2013) и 1:5.5 (2012). А для «неимпактных» (2011 и ранее) совсем другое — 1:18.3. Последнее соотношение покоится на обсчете почти 5000 цитирований.
Логично предположить, что 5–18% (1:18.3) — это нормальная доля самоцитирования для этого журнала. А 15– 18% (1:4.5–5.5) — это что-то удивительное. Легко предположить, как 5% превращаются в 15%: в готовую рукопись в уже существующие скобочки с цитатами добавляются нужные ссылки для поднятия ИФ у того журнала, в который направляется статья. Делают ли это авторы по своей инициативе или по требованию редакторов — предполагать не возьмусь.
Можем ли мы найти подтверждение этому предположению? Почти половина «импактного» внутреннего цитирования собрана всего в 13 статьях. Это статьи, в которых более двух «импактных» ссылок.
Я просмотрел их. Из 48 «импактных» ссылок только три не являлись самоцитированием авторов, упоминались в тексте более одного раза и хотя бы один раз были единствен-ной ссылкой, подтверждающей не-кий тезис. То есть скобочка создавалась специально для них. Две трети появляются в тексте лишь однажды, и всегда в скобочке с ними есть другая ссылка. В одной из 13 статей все четыре «импактных» ссылки мило собраны внутри одной скобочки и больше нигде не упоминаются. И еще треть — самоцитирование авторов.
Среди проанализированных есть как статьи, вообще не цитирующие РСТОС, так и цитирующие только его «импактные» статьи, причем доля таких статей равная — 15,7%. Независимо от того, как авторы цитируют Tissue and Organ Culture, статьи 2013 года (самые свежие на момент написания рукописи) цитируются реже, чем статьи 2012 года.
Единственное исключение — это цитирование «импактных» статей в статьях, которые цитируют только «импактные» статьи РСТОС: статьи 2013 года цитируются чаще, чем 2012-го. Вполне логично: поиск «импактных» ссылок для вставки в готовую рукопись лучше начинать со свежих номеров журнала. А вот со ссылками на другие журналы в этих же статьях всё в порядке: статьи 2013 года цитируются реже, чем статьи 2012 года.
Таблица. Журналы категории Plant Science базы данных Scopus (SJR)
|
Позиция в рейтинге |
Название журнала |
Внутреннее цитирование, % |
Нецитируемые статьи*, % |
|
|
2012 |
2012 |
2010 |
||
|
2 |
Plant Cell |
7,9 |
13,1 |
12,85 |
|
5 |
Plant J |
6 |
6,4 |
5,25 |
|
8 |
New Phytol |
7,3 |
11,6 |
12,99 |
|
10 |
JXB |
8,0 |
9,1 |
12,13 |
|
16 |
PMB |
2,5 |
13,7 |
10,08 |
|
59 |
PCR |
7,2 |
18,8 |
24,24 |
|
67 |
PMB Rep |
64,4 |
9,4 |
63,97 |
|
71 |
JPP B |
6,3 |
20,3 |
22,53 |
|
72 |
PCTOC |
55,1 |
10,5 |
31,74 |
|
79 |
Biol Plant |
29,9 |
40,0 |
34,77 |
|
96 |
PGR |
6 |
29,8 |
31,62 |
|
228 |
RJPP |
18,9 |
58,8 |
57,1 |
|
245 |
Amer Fern J |
9,8 |
65,0 |
65,88 |
|
255 |
Acta Bot Gal |
30,0 |
77,6 |
76,03 |
|
262 |
Arch Phytopat Plat Protect |
25,6 |
78,1 |
83,54 |
|
271 |
Agrociencia |
10,2 |
71,3 |
69,77 |
* Не процитированные ни разу в течение следующего года.
2013
Существует наивное ожидание, что подобные «странности» должны иметь какие-то последствия. Но WoS и ныне там. Thompson Reuters обновил ИФ и для РСТОС, и для PMB Reporter. Отчасти «справедливость восторжествовала». По данным 2013 года, ИФ у РМВ увеличился с 3.5 до 4.1, у Planta почти не изменился, у Tissue and Organ Culture уменьшился с 3.6 до 2.6, у PMB Reporter снизился с 5.3 до 2.4.
Радует, что и у РСТОС [1] и у PMB Rep [2] сильно уменьшилось внутреннее цитирование (что и привело к снижению ИФ). Если в 2012 году внутреннее цитирование в РСТОС увеличивало ИФ на 1.8, в 2013-м — на 0.8 [2], в 2014-м можно ожидать ее снижение до 0.5.
Единственное последствие для Tissue and Organ Culture стало результатом, по-видимому, не количественной, а экспертной оценки. SJR исключил РСТОС из списка журналов Plant Science базы данных Scopus [3], теперь он входит только в категорию Horticulture — «садоводство/огородничество» [1]. После знакомства с ¾ статей РСТОС за 2014 год мне это решение кажется если не бесспорным, то вполне понятным.
И снова мы приходим всё к тому же банальному выводу: цифра не заменит экспертной оценки. Даже в области, где величины импакт-фактора имеют разумную корреляцию с уровнями журналов.
P.S. В 2013 году единственный российский журнал в области Plant Science — Russian J Plant Physiology — поднялся в рейтинге SJR с 228-й до 201-й позиции и приближается к границе Q3/Q2 (до 2007 года журнал был в Q4). Импакт-фактор журнала тоже вырос. Содержание росту формальных показателей не противоречит.
P.P.S. Примерил на себя свою «цифирь». Рецензент моей текущей original article потребовал расширить обсуждение. Пришлось и ссылок добавить. Одна из добавленных оказалась «импактным внутренним цитированием». Сравнил у себя в рукописи соотношение: «ссылки на этот журнал» и «ссылки на другие журналы». Оказалось, на импактные годы — 1:3, на более ранние годы — 1:4. Пожалуй, «не криминал».
1. www.scimagojr.com/journalsearch.php?q=19020&tip=sid&clean=0
2. www.scimagojr.com/journalsearch.php?q=14227&tip=sid&clean=0
«Делают ли это авторы по своей инициативе или по требованию редакторов — предполагать не возьмусь»
сталкивался с подобными вещами как в связи с пожеланиями редакции (типа — Вы внимательно просмотрели наш журнал и не пропустили ли какие-то работы по теме статьи?), так и в связи с самодеятельностью редактора журнала
Насчет импакт-факторов.
Сдается мне, что их фальсифицировать — пара пустяков. Поди, проверь!!
Читаешь порой статьи в таком «импактном» журнале, и диву даешься, откуда «фактор»?
Вывод:
надо искать другие критерии важности статьи.
И один такой критерий есть:
это защита суммы статей в профильном Ученом Совете на следующую ученую степень.
А таких степеней м.б. много, до 7 и более
(см реальное предложение на ТрВ , гайд-парк от 16.09.2013) .
Тогда показал степень, утвержденную советом экспертов,- и все ясно!
А так, филькин фактор!
Меня поражает инерционность мышления читателей ТрВ.
Я сужу по числу значков «+» или «-» на свои комменты.
См, например, предыдущий коммент.
Народ не понимает, что
Уч. совет и приглашает экспертов на защиту, на открытый разговор..
И в этом сила и принцип реальной объективности оценки работ соискателя.
Если статьи сильные- защита это подтвердит.
А если ты участник «паровоза», и даже плохо знаешь о чем там речь (в статье с твоим соавторством), то тебе и это учтут.
Учтут и натяжки, и повторы результатов, и передергивания, и плагиат,
и многие другие недостатки, которые зачастую присутствуют в статьях.
Но основной результат — всегда будет объективно оценен.
надо только объективно выбирать оппонентов, не по знакомству, а через ВАК.
(об этом надо говорить отдельно)
Поэтому
Открытый диалог на защите намного лучше «закрытой» дискуссии,
т.е. заочной переписки, предшествующей публикации статьи.
А цитирование статьи это лишь косвенная оценка ее значимости.
Можно ведь цитировать статью только лишь для указания на ее недостатки.
А зачастую цитирую для демонстрации «эрудиции», » по знакомству», а не по существу.
Вот тебе Хирш (с маслом).
Это не инерционность. Каждая защита — барьер. Если их будет 7, то совсем работать станет некогда, а потом и некому. Если отбирать оппонентов в ВАКе будет один известный всей стране дядя Вася-мизантроп, то это, конечно, исключит защиты по знакомству. А ежели он экстраверт? Вообще же дискуссия по поводу цитирования, мне кажется, продиктована возрастным составом нынешней РАН. Если надо доказать свое право на ренту на том основании, что 20 лет назад было напечатано что-то великое в каком-то ныне захудалом журнале, то да — проблема. Если вы сейчас можете что-то нормальное сделать, то проблемы нет, партком печатать не запретит, первого отдела в PRL нет. А то, что импакт не заменит экспертов, а эксперты с их конфликтами интересов и личными предпочтениями не заменят импакт, так то — общее место. Любая система оценки подвержена ошибкам, идеальной никогда не будет. Но делить деньги по импакту, пусть и немного кривому, здоровее чем по по блату.
без всякого импакта всем известно какие журналы чего стоят, авторитетных хороших журналов не так много, даже неприлично мало. Большинстве своем российские журналы маловлиятельны даже по российским меркам, и во многих случаях созданы лишь для того чтобы «помочь» расплодившимся аспирантам иметь публикации в так называемом списке ВАК для защиты. Или некоторым «сотрудникам» некоторых вузов «пристроить» свою статью для наличия публикации. Обычные новые слабые местечковые журналы. Так что более или менее авторитетные специалисты, знают какой журнал чего стоит.
Да, специалисты знают сильные журналы в своей области. А как быть чиновнику, которому нужно отделить реально работающие лаборатории от халтурщиков? Даже если чиновник сам из бывших учёных, он не сможет держать в голове всю иерархию тысяч журналов. Лучше, если чиновник руководствуется чисто клановыми соображениями, как сейчас?
Чиновнику следует найти надежных экспертов и организовать их работу, исключив конфликты интересов. На этом его работа по идее и кончается.
А к отбору этих экспертов чиновник привлечёт других экспертов, и так до бесконечности… Получается, чиновнику вообще ничего знать не нужно. Не нужно знать, какие журналы — хорошие, а какие — плохие. Вот по этому принципу РАН и работала последние лет 20.
101-й раз твержу — все показатели цитируемости ничего (сами по себе) не говорят о качестве работы, а лишь о её ВОСТРЕБОВАННОСТИ (что совсем не одно и то же). То же верно в отношении отдельных авторов, журналов, организаций и т.д. У Мартина Флейшмана (ныне покойного) году в 90-м был Хирш до небес! — но какой ценой?