Ольга Реброва полагает, что «Корпус экспертов» — это кривое зеркало. Это ее право. Мы полагаем, что «Корпус экспертов» вообще не зеркало. Это инструмент более сложный, как минимум — очки. А может быть, даже и небольшой микроскоп. Чтобы инструментом пользоваться, надо по меньшей мере прочитать инструкции к нему (это и к очкам относится, как известно из литературы). Инструкции эти общедоступны, их можно посмотреть здесь: www.expertcorps.ru/science/about, www.expertcorps.ru/science/methods, — а также различные комментарии на www.expertcorps.ru/science/whoiswho.
Увы, значительное число любопытствующих, которым что-то становится известно о нашем проекте, не считают нужным познакомиться с этими описаниями — они начинают сразу с претензий. Мы всегда даем краткие разъяснения, но не считаем нужным, да и не имеем возможности многократно повторять написанное на сайте. Проект наш сугубо инициативный, «налогоплательщик» за него не платит ни рубля, и мы в связи с этим не должны перед ним отчитываться. Комментарий О. Ю. Ребровой, по существу, состоит в том, что некоторые детали процедуры появления тех или иных лиц в «списках цитирования» не были до сих пор полностью описаны на сайте проекта. Но далее следуют странные обобщения. Поэтому мы сначала разберем «в целом» предъявленные нам претензии, а затем восполним упомянутый пробел. Подчеркнем, что речь идет о «списках цитирования», в которые люди попадают по формальным признакам, а не о списках собственно экспертов.
Завязка сюжета, то есть исходная мотивация О. Ю. Ребровой: «Я обратила внимание на присутствие примерно в середине списка (по общему числу цитирований) бывшей (не моей) аспирантки, известной мне своим низким научным уровнем». Эта неприятная для Ольги Юрьевны единичная находка — среди списка представителей медицинских наук числом 162 лица — и привела ее к выводу о «кривизне зеркала» (комментариев о ком-то из остальных 161 мы не видели).
Развитие сюжета: «Естественно, я обратилась с вопросом к авторам проекта, но из переписки методика формирования данного списка не прояснилась». Естественно, все приведенные ниже в тексте подробности «формирования списка» были предоставлены О. Ю. Ребровой в частной с ней переписке. Читатель теперь может сам судить, проясняют ли что-то наши комментарии.
Крещендо: «Более того, представляется, что и в качестве списка первичных рекомендателей он вряд ли полезен». Напомним, этот вывод сделан на основании обнаружения в списке из 162 медиков некоей недостойной «бывшей аспирантки». В целом в нашем списке имеется около 7000 высокоцитируемых специалистов по различным естественным наукам, причем в абсолютном большинстве исследованных научных специальностей вообще не существует «проблемы больших коллабораций». Оставляем читателю судить об обоснованности процитированного вывода О. Ю. Ребровой.
Перейдем теперь к подробностям. Вопрос, с которым О. Ю. Реброва обратилась к нам в марте 2015 года, — очередная разновидность старого вопроса к «Спискам Штерна» (с 2009 года — на сайте «Корпуса экспертов»): как учитывать вклад авторов, работающих в составе коллабораций, при подсчете индивидуального цитирования.
Предыдущий виток этой бурной дискуссии касался в основном коллабораций в физике высоких энергий, он завершился в 2011 году коллегиальным решением о пороге по нормированному цитированию. Однако сейчас и это решение оказалось не вполне универсальным: с тех пор как WoS стал индексировать работы с участием «коллективных авторов», не показывая их списки явным образом, стало невозможно узнать из этого источника число авторов, на которое следует нормировать. И наиболее распространенным оказалось это «коллективное авторство» именно у медиков, которые стали появляться в списках существенно позднее, чем представители естественных наук.
Решение, которое было реализовано в марте 2015 года, состоит в следующем: если среди работ автора при загрузке из WoS имеются работы с указанием коллективного автора, то в столбцах нормированного цитирования (∑ CI/Ni и ∑7 CI/Ni) никаких цифр не указывается, а в столбце с максимальным цитированием одной работы CImax указываются через дробь сведения как для работ с «обычным» авторством, так и с «коллективным», вот пример:
| CItot | ∑ CIi/Ni |
CI7 | ∑7, CIi/Ni | h | CImax | Mref, Mall |
| 4417 | 232 | 30* | 127/290 | 173, 89 |
Сейчас автоматическая система генерации таких строк находится в стадии тестирования, пока сбоев не было, но появляться строки в таком формате будут только в ходе текущего обновления данных, а не «задним числом».
Разумеется, как и ранее, возникает ряд вопросов о критериях включения в списки при наличии «коллективного авторства». Мы будем рады, если коллеги-медики согласованно предложат какие-то решения по этому поводу, но знаем по опыту, что дискуссии будут долгими. Пока включаем в списки медиков, имеющих, наряду с такими «проблемными» работами, также и обычные публикации. И, как мы уже и отвечали ранее О. Ю. Ребровой, мы готовы ввести туда и других членов коллабораций, если коллеги помогут их идентифицировать, то есть сообщат имена-отчества и места работы. Методика загрузки и обработки данных WoS, о которой спрашивает О. Ю. Реброва, описана на сайте проекта. Действительно, там не отражен специально вопрос об использовании MyResearcherID — одного из внутренних ресурсов WoS, а именно этот ресурс и оказывается в некоторых случаях существенным. Член коллаборации может отметить статьи «коллективного автора» как свои и имеет формально на это право. Если статьи не будут отмечены или если кто-то из авторов просто не завел свой ResearcherID, то при загрузке WoS не всегда выдаст «коллективные статьи». Сейчас в списке задаваемых вопросов о WoS на титульной странице списков цитирования мы дали по этому поводу такие комментарии.
«Как используется при подсчете цитирования ресурс WoS MyResearcherID? Если из письма автора, его коллег или из сетевых источников становится известен номер MyResearcherID, то он вносится в карточку и используется при загрузке, что существенно упрощает разметку списков работ людей с распространенными фамилиями. Очевидные ошибки (пропущенные авторами статьи или, наоборот, случайно отмеченные ими статьи однофамильцев) устраняются при ручной обработке.
Учитываются ли работы в составе «коллективных авторов» (коллабораций)? Эти работы учитываются, если удается установить участие в коллаборациях выступающих в качестве коллективных авторов (иногда находится обычным поиском, иногда благодаря MyResearcherID). Для членов крупных коллабораций нормированное цитирование в списках www.expertcorps.ru/science/whoiswho не указывается; в этом случае в колонке CImax указывается: (максимальное цитирование одной работы автора)/(то же — одной работы в составе коллективного автора)».
Отметим, что более конструктивными нам кажутся предложения о включении в списки новых людей, отвечающих объявленным критериям. Однако это требует от комментатора еще и некоторой собственной работы…
Впрочем, если значительное количество специалистов по медицинским наукам сочтет публикацию соответствующих «списков цитирования» неуместной, вредной и т. п., мы готовы рассмотреть вопрос об изъятии этой научной области из сферы деятельности проекта «Корпус экспертов».
Кривое зеркало используется и в фотоаппаратах, и в телескопах, и… — нормально. Вопрос О.Ребровой надоть обобщить и переформулировать:»Каким образом оценивать работу эксперта?» Ну — да, была когда-то некачественная аспирантка, а стала — хорошим экспертом, бывает, система-то — динамическая и саморазвивающаяся, да-с.
Лично я очень уважаю Винера по поводу обратных связей, они — есть! Но — не всегда заметны, а потому — прошу продемонстрировать: как, енти самые, обратные связи работают в проекте «корпус экспертов»? Есть ли аналог Диссер.нет по отношению к корпусу экспертов, как регламентирована его работа?
Прошу меня не плющить интеллектуальным молотом, используя профессиональные навыки. Или, Вы отрицаете, что высокоцитируемый ученый может допустить нехороший поступок при работе экспертом?
P.S.
«Non est terminus», а потому, желаю «корпусу экспертов» успехов в дальнейшей работе. Чес.слово, искренне.
Надо бы основную сортировку делать в списке по другому критерию. Так когда такое пишут на основании списка http://snob.ru/selected/entry/68786 это вызывает вопросы не только к авторам статьи, но и к авторам списка.
Собственно Михаил Фейгельман и является автором списка. С какой стати при почти одинаковых показателях общей цитируемости Фортов и Ростовцев, но при разнице на порядок в среднем числе соавторов 5 у Форотова и 39 у Ростовцева и при отсутствии у Ростовцева статей с первым авторством, Фейгельман делает вывод, что Ростовцев более крупный учёный, чем Фортов. И разница на порядок в приведенной на число авторов цитируемости 2290 — Фортов и 84 Ростовцев ему нисколько не помешала.
Неужели вы думаете, что если Фейгельман крупный ученый знающий цену статьи и один из авторов списка делает такие выводу, то обыватель их делать не будет.
А с чего народ вдруг поверил в независимость экспертов? Любая оценка в области поисковых исследований как минимум субъективна. Можно конечно сослаться на индексы цитирования и Хирши, но тогда и эксперты не нужны. Открыл web of science и все как на ладони вместе с соавторами. В начале года был характерный пример. Один уважаемый эксперт распределял деньги на исследования. Все замерли, вот сейчас все будет прозрачно и демократично. Дудки-с! Более 50% своему институту, остальным пропорционально административному ресурсу. И я не брошу в него камень, ибо Сказано — или Богу, или мамоне. Как до денег дело доходит, вся независимость улетучивается.
Про налогоплательщиков — это вы зря, спонсоры проекта — гос. компании РАО ЕЭС и РВК, как указано на вашем сайте.
Нет, не зря. Надо усугубить наметившуюся тенденцию, и перевести ещё одну категорию лиц принимающих знаковые решения, на пример — судей, на самоокупаемость и добровольные пожертвования.
А чё — нормально… нет гос.финансирования, нет и спроса.
В далеком уже 1979 году мой научный руководитель в ответ на недоумение по поводу публичных выступлений на сессии АН ряда настоящих (без кавычек) ученых заметил:»Давно известно, что все люди, когда что-то делят, ведут себя стереотипно»… Признаться, я не поверил. Все эксперты и «иксперты» субъективны и совсем не являются беспристрастными. Верить подобно Фейгельману, что в принципе может быть «выведена на кончике пера» формула для объективной оценки «вклада кого-то куда-то», могут только люди с большим самомнением и узким общекультурным кругозором.
Спешно даже говорить с ними.
Смешно читать то, что Вы написали. Это чиновники из МОН верят в то, что может быть выведена какая-то универсальная формула для объективной оценки научного вклада, а Фейгельман — твёрдый и убеждённый сторонник экспертной оценки. По каковой причине и приложил усилия к созданию «корпуса экспертов», который однако оказался не шибко востребован.
В развитых странах человек в 65 лет уже на пенсии и не мешает молодым работать.А если убрать из этого списка ученых старше 65 лет, пенсионеров, то кто останется? Нельзя ли было бы составить такой список, чтобы видеть, кто на самом деле работает,а кто только ходит за харплатой, вписывая себя в статьи.
Затем, я не понимаю, почему из России сбежали 3 лауреата нобелевских премии по физике? Как это отражено в списках? Представим сеюе, что вся академия наук вдруг взяла да и уехала из России? Сможем ли мы это заметить?
Разговор об академии, или о «корпусе экспертов»?
Кстати, умеющие пользоваться очками могут перечитать Г.Х.Андерсена «Новое платье короля» и убедиться, что качество экспертной оценки слабо коррелирует с индексом цитируемости.
Любителям творчества Крылова рекомендую произведение «Кукушка и петух».
Да, в списках «корпуса экспертов» много достойных людей, но — что-то не так с организацией работы.
А что Вы имеете в виду под работой «корпуса экспертов»? Вы в курсе, в каких проектах он был задействован? Насколько мне известно, их было совсем немного.
Вообще то, список экспертов находится здесь:
http://expertcorps.ru/science/experts
Экспертов там немного и список этот формировался не по библиометрии, а путём опроса учёных, включенных в основные списки цитируемости.
В самой статье четко оговорено: ”речь идет о «списках цитирования», в которые люди попадают по формальным признакам, а не о списках собственно экспертов.”
Про весь «корпус» ни чего сказать не могу, но от некоторых «экспертов» получал рецензии, что позволяет усомниться в их квалификации.
А с чего Вы взяли, что авторы этих рецензий имеют хоть какое-то отношение к проекту «корпус экспертов», к которому Вы предъявляете претензии по поводу организации работы? Рецензии наверняка анонимные были.
Дело было так, шеф предложил отправить статью на отзыв к персоне из списка экспертов. Получили ответ вроде «Не знаю, не понимаю».
Именно так и должен поступить квалифицированный эксперт, если он не понял статью, а не писать какую-нибудь херню. Но я не понял, почему рецензента выбирал Ваш шеф, а не редактор журнала, где Вы хотели опубликоваться.