Проекты «Корпус экспертов» и «Кто есть кто в российской науке» с 2010 г. функционируют совместно при поддержке фонда «Династия». Михаил Фейгельман и Галина Цирлина отвечают на вопросы ТрВ-Наука об обновлении списков цитирования на сайте проекта www.expertcorps.ru. Вопросы задавал Михаил Гельфанд.
— Вы готовите вторую версию списков «Кто есть кто в российской науке», известных как «списки Штерна». Когда она будет готова, и что в ней нового?
Г.Ц.: Мы надеемся, что полная версия списков 2010-2011 годов появится в апреле. Сохранены основные принципы — автор включается в списки при наличии не менее 1000 цитирований всех работ или не менее 100 цитирований статей, опубликованных в последние 7 лет (пока это период 2003-2010 годов). Однако отменены некоторые эмпирические правила — сняты ограничения по порядку авторов, изменена методика для работ с десятками соавторов, какие бывают в физике высоких энергий, да и в других областях.
— Уже и в биологии…
Г.Ц.: Да, и в материаловедении. Ранее цитирование статей с более чем 30 авторами не учитывалось. Сейчас оно не учитывается при включении новых людей в списки, но для ранее включенных цитирование суммируется уже по всем статьям. Это вызывает возра -жения ряда «зрителей», возможные решения обсуждаются.
На Scientific.ru происходил не ежегодный пересчет по всем статьям, а суммирование текущего результата и цитирований, появившихся за последний год. Так будет и в новой версии, но единожды (сейчас) для каждого производится полный пересчет с самой первой публикации. По возможности устраняются ошибки, их довольно много. Наводится порядок со специализациями и с местами работы, что возможно при использовании единой базы данных для списков цитирования и «Корпуса экспертов».
— Но ошибки — это прежде всего путаница с однофамильцами и с разными написаниями фамилий. Как это учитывается при пересчете?
Г.Ц.: Как и раньше — «помощь зала», без нее просто невозможно. Сейчас кроме форума www.scientific.ru/dforum/whoiswho действует более стабильный канал: по e-mail администратору проекта пишут о замеченных неточностях, и сама она тоже ищет, у кого спросить про особо сложных однофамильцев. Скажем, сестры Ольга и Олеся из одной лаборатории — не сразу догадаешься, что это два автора. Или отец и сын с одинаковыми фамилиями, именами и отчествами и пользуются одним адресом электронной почты. Или два столь же «полных» однофамильца, оба — биологи, у которых еще совпадают день и год рождения (это один из них сообщил). И даже просто 23 Ивановых. Многие соглашаются смотреть разметку списков своих работ или присылать списки трудов.
— А как кандидаты на включение попадают в поле зрения проекта?
Г.Ц.: По старому каналу — через форум, через сообщения по e-mail [email protected], и еще постепенно проверяются все названные ранее в опросах «Корпуса». Если «кандидаты» проходят пороги, то включаются в списки вне алфавитного порядка, в котором идет основной пересчет.
— Давайте сделаем шаг назад и обсудим, зачем вообще этот проект нужен. Есть Web of Science, в который каждый сам при необходимости может пойти, есть Scopus, есть открытый Google Scholar…
М.Ф.: Этот проект не нужен для отдельного научного работника, чтобы просто узнать, сколько у него цитирований. Он нужен, если требуется готовая, достаточно большая выборка по этим показателям, скажем, если с их учетом принимаются административные или финансовые решения. Иногда цитирование сотрудников института учитывается при выписывании им премиальных. По меньшей мере один такой случай мне известен.
— Я могу в скобках написать: «В этом месте интервьюируемый загадочно улыбнулся»?
М.Ф.: Можете. И от себя добавить: «И сразу стало ясно, что речь идет о его институте». Хотя подозреваю, что их существенно больше. Как раз в конце декабря у нас было принято правило, по которому учитываются все эти самые показатели, и возникла надобность в подсчете данных для всех сотрудников. Их и до того было больше половины в списках, но проверили всех остальных, и оказалось, что порог проходит три четверти сотрудников, если не больше.
— Получается, что чем больше будет таких замечательных институтов, как Ваш, тем скорее проект навсегда захлебнется, потому что большой институт пересчитать — это очень много работы.
М.Ф.: Нет, таких случаев больше не будет, на это можно было пойти только для сравнительно небольшого института, уже существенно представленного в базе.
— Что абсолютно не является типичной ситуацией…
М.Ф.: Тут надо напомнить, что в проекте сохраняется очень важный принцип: хотя из списка активного цитирования люди могут «выпадать», но в базе данных они сохраняются, и имена публикуются в списках по институтам. И для них пересчет тоже ведется.
Г.Ц.: Есть еще мемориальный список www.expertcorps.org/science/whoiswho/memlist со ссылками на биографические тексты. Если есть некролог из научного журнала, то публикуется он, а если нет — ссылка на веб-страницу с как можно более развернутым сообщением. Однако еще немало людей из списков, про которых достоверно известно, что их нет в живых, но нет подобной информации. Это совершенно отдельный вопрос, более эмоциональный, хорошо бы нам присылали такие материалы, у кого они есть.
— Кого еще интересуют списки, кроме просвещенной администрации отдельных институтов?
М.Ф.: По некоторым областям это интересует отдельных представителей технологического бизнеса. Например, венчурный фонд «Сколково-Нанотех».
— Оба слова — совершенно страшные с точки зрения любого научного сотрудника.
М.Ф.: Это потому, что научные сотрудники естественным образом не подозревают, о чем идет речь. Это не имеет никакого отношения к проекту «иннограда Сколково». Это — венчурный фонд, созданный совместно корпорацией «Роснано», которая дала половину средств фонда,и компанией «Тройка-диалог», которая привлекла вторую половину, самостоятельно или еще откуда-то, не знаю. Фонд работает под управлением «Тройки-диалог» и предназначен для финансирования венчурных проектов, имеющих отношение к нанотехнологиям.
— И как этот фонд использует списки?
М.Ф.: Фонд использует «Корпус экспертов», для формирования которого эти списки играют ключевую роль, поэтому одно с другим связано. Система экспертизы этого венчурного фонда вся выстроена на использовании «Корпуса экспертов». Не по всем научным направлениям, которые могут понадобиться при рассмотрении подаваемых в этот фонд проектов, уже сформированы списки экспертов «Корпуса». На этот случай предусмотрена система дополнительных опросов по еще не охваченным областям, в которой рекомендатели экспертов — из тех же списков цитирования.
— То есть списки цитирования — это предварительные данные для «Корпуса экспертов»?
М.Ф.: Да, и кроме того — массив данных для поиска возможных специалистов в тех или иных областях. Венчурные фонды интересуются не только тем, где взять экспертов. Фонду интересно, где взять проекты, достойные того, чтобы их рассматривать, а таких проектов на нашей территории немного. И чтобы их стало больше, людям, которые управляют этим венчурным фондом, важно знать, каково вообще-то поле, на котором можно что-нибудь найти. Где и кто, в какой научной области что-нибудь умеет делать. Выяснить этот вопрос очень трудно, и оказалось, что списки помогают.
— А еще примеры есть?
Г.Ц.: Даже и Роснанотех, который не нужно рассматривать как средоточие зла. Это — сложным и местами безумным способом организованная система, которая, тем не менее, пыталась аккумулировать здоровые экспертные механизмы. Туда в качестве рядовых экспертов попало довольно много дельного народа. И их участие даже в некорректно организуемых экспертизах все-таки некоторый порядок наводит: как минимум не позволяет пропускать проекты, заведомо близкие к альтернативной науке, а в некоторых случаях достигается даже и более полезный результат. В поиске экспертов очень важна точность сведений о специализациях. И главное усовершенствование при соединении проекта «Кто есть кто» с проектом «Корпуса» — это уточнение специализаций.
— Насколько подробный классификатор для этого используется?
Г.Ц.: Какой бы подробный классификатор ни был на старте, при соприкосновении с живым материалом неизбежно выясняется, что он должен быть модифицирован. Это -нормальное явление, так происходило, например, при опросах по физике и биологии. Постепенно все классификаторы могут быть доведены, по-видимому, до двух-, а может быть, и трехуровневой структуры, а более детально специализация может выявляться по ключевым словам. Эти сведения сейчас хранятся в базе данных и публикуются только для экспертов, а в списках цитирования только крупные разделы.
— Кто определяет специализации в базе и списках?
Г.Ц.: По наукам, по которым были проведены опросы «Корпуса», это определялось в ходе опроса. А в химии и науках о Земле нашлись консультанты, которые взяли на себя труд предположительно расставить коды и определить разделы.
— А в биологии и физике используется уже тот глубокий классификатор, который есть в «Корпусе экспертов»?
Г.Ц.: Да, там фактически используется трехуровневый классификатор.
— При таком способе использования, насколько хорошо, что для всех наук выставлены стандартные пороги 100 и 1000?
Г.Ц.: Плохо. Но пока для всех точно не выяснена специализация — какой смысл говорить о порогах? Один эксперимент с порогами уже был произведен. Физика плазмы -разнородная область, там есть люди очень разного профиля, и у них существенно разное среднее цитирование. Был придуман алгоритм, довольно трудоемкий, — как понизить порог до чего-то разумного: проводился анализ всех российских авторов статей в журналах со словом plasma в названии. Ясно, что исчерпывающей точности такой анализ дать не может. Но было выяснено, что разумным порогом для физики плазмы, чтобы обеспечить представительность всех ее направлений, является 60, а не 100 по активному цитированию. Был проведен дополнительный опрос среди рекомендателен найденных по этому порогу. Но включать этих дополнительных выборщиков в публикуемые списки цитирования никто пока не решается, потому что вопрос о порогах должен быть решен как-то более универсально.
— Кто будет принимать такие решения?
Г.Ц.: Они могут быть приняты только коллегиально.
— А из кого будет состоять коллегия? Кто те сионские мудрецы, которые соберутся и скажут, что вот, по таким-то областям снижаем пороги?
Г.Ц.: Помимо собственно рабочей группы имеется немаленькая команда консультантов проекта, их имена есть на сайте www.expertcorps.org. Люди, которые готовы тратить время и вдумываться во все эти вопросы. Они высказывают суждения каждый по своей области, и эти суждения всегда выносятся на публичное обсуждение, через хронику «Корпуса» или на семинарах. Иногда поступают отклики по электронной почте, они всегда принимаются во внимание.
— В чем механизм взаимодействия рабочей группы с сообществом?
М.Ф.: Фиксированного механизма нет. Есть саморазвивающийся проект, а как именно он будет развиваться еще через две стадии, никому не известно.
— За какую часть этого результатов Вы отвечаете в том смысле, что Вы считаете, что она относительно полна? Вы говорили, что списки цитирований полезны тем, кто хочет себе представить состояние дел в российской науке и посмотреть, что там есть живого. Но формально глядя на списки, можно ошибиться, потому что какие-то области не представлены там не потому, что они не являются живыми, а потому что критерии для них не годятся.
Г.Ц.: В сводных материалах хроники написано, за какие области в настоящий момент более-менее можно отвечать.
— Это про «Корпус экспертов», а я спрашиваю про списки цитирования.
Г.Ц.: А это взаимосвязанные вещи.
— Все-таки это два разных проекта, и есть области, по которым опросов для списка экспертов пока просто не было.
Г.Ц.: Надо разделить этот вопрос на два. Есть науки, из которых мало людей в списках, потому что там нужно снижать порог. А есть области, в которых цитирования и публикации вообще, по-видимому, не являются прямым критерием оценки результата.
— IT, скажем.
Г.Ц.: По IT мы даже не планируем опросов, как и по техническим наукам. Там нужно по каким-то другим критериям искать выборку рекомендателей. В основном думаем о «полевиках», геологах и биологах, для которых результат — атласы, карты, каталоги. Возможно, их могут рекомендовать люди других специализаций из той же области знания, как в уже прошедшем дополнительном опросе по астрономии.
— Но все-таки, чисто формально: как венчурному капиталисту, глядя на списки, понять: область не представлена, потому что ее в России нет, или потому, что критерии для нее не подходят?
Г.Ц.: Ему надо взять адрес, который написан сверху, снизу, сбоку от публикуемых списков, и задать вопрос по этому адресу — и он получит подробные пояснения по поводу заинтересовавшей его области исследований.
М.Ф.: Да, готового списка «представленных» областей нет, и его стоит завести.
Г.Ц.: Думаю, что мы это сделаем после завершения пересчета с учетом всех тех особенностей, которые по ходу дела выясняются.
— Ваш проект — не единственный, потому что есть РИНЦ. Казалось бы, РИНЦ по замыслу куда более полный. Он содержит сведения не только о количестве цитирований, но и о самих цитированиях, причем сразу по всем областям.
М.Ф.: Про алгоритмы РИНЦ в ТрВ только что предметно написал директор Библиотеки естественных наук РАН Н. Каленов. А что по этим алгоритмам получается — можно вот на графиках посмотреть (см. рисунок). Были взяты данные РИНЦ по цитированию для 100 человек, случайно выбранных из числа уже «обработанных» в ходе пересчета. Выяснилось, что данные РИНЦ с высокой степенью точности могут быть описаны как белый шум в логарифмической шкале. Они отличаются от данных WoS иногда в 30 раз (даже на глаз попадались легко), иногда даже в 100, иногда в 3-5 (это уже совершенно типично).
— В какую сторону?
М.Ф.: В единичных случаях они завышены. Обычно они занижены, в произвольное количество раз. Такие истории часто обсуждались, от РИНЦ следовал ответ типа «вы тут привели какой-то экзотический пример». Выборка из сотни человек показала, что это не экзотический пример, это правило. Это не просто какое-то распределение с шириной порядка среднего, оно в логарифмической шкале будет с шириной, наверное, даже больше чем среднее. А двух людей с вполне заметным цитированием по WoS — РИНЦ просто не знает. Все это означает, что подсчеты РИНЦ методически совершенно некорректны, а сотрудников РИНЦ это не интересует, судя по результату.
Г.Ц.: Мы понимаем, насколько необъятная задача — пересчитать всю страну, но не надо ничего публиковать и придавать своим цифрам какой-то статус до тех пор, пока они методически не апробированы и в них нет уверенности.
М.Ф.: Если бы различия были на уровне десятков процентов, то можно было бы сказать «зато там большие объемы и все равно это полезно». Но когда эта разница не на 30%, а в 30 раз, то использование продукта для каких бы то ни было оценок, решений и т.д. — это уже просто полное безобразие.
— РИНЦ принят в качестве основы в нескольких министерских программах и в академической программе. Причем там бывает по-разному: где-то надо строго по РИНЦу, где-то можно через запятую указывать РИНЦ, Web of Science и Scopus, по-видимому, кто как хочет. И что делать?
Г.Ц.: Увеличивать число подписок на международные базы, работать над квалификацией персонала и над методиками. Нам приходилось сталкиваться на консультативном уровне с ситуациями, когда министерство хочет посчитать по WoS, пишет инструкцию на многих страницах, там вроде бы много правильных пунктов, но на выходе получаются совершенно некорректные цифры. Значит, нужен либо какой-то ликбез для исполнителей, либо методические железно описанные надежные источники, из которых можно эти цифры получить.
— Какие источники? Допустим, обсуждаемый общественный проект «Корпус экспертов», мы уже выяснили, охватывает не все области.
Г.Ц.: Его можно пытаться расширять, это предмет разговора. Кроме того, организаторы какого-то конкурса (если это разумный конкурс) могли бы обращаться к рабочей группе с просьбой проанализировать претендентов по тому же алгоритму. Сам этот проект — способ апробировать методику надежного и корректного подсчета.
— Вот, значит, для чего нужен этот проект..
М.Ф.: Вопрос о том, зачем нужен этот проект, было бы в высшей степени уместно задавать, если бы этот проект финансировался на государственные деньги, чего не было и не будет.
— Это — жесткая позиция?
М.Ф.: Да. Это не значит, что рабочая группа проекта не готова взаимодействовать с теми или иными представителями государственных органов. Готовы, разумеется, если они хотят задавать какие-нибудь конкретные вопросы.
— Рабочая группа будет это делать бесплатно?
М.Ф.: Это зависит? Рабочая группа может подписать контракт с организацией, которая заказала ей какую-то конкретную работу. Текущий проект, который мы сейчас обсуждаем, существует сам по себе.
— А на какие же деньги он тогда существует?
М.Ф.: Благотворительный частный фонд «Династия» обеспечивает оплату технической работы и время от времени оплату внешним специалистам за конкретные трудоемкие консультации. В регулярном режиме работают три человека: IT-специалист Александр Прокофьев, который создал и поддерживает базу данных и средства для автоматической генерации списков, администратор проекта Владислава Сабрауи, и оператор базы Юлия Вахтеева. Рабочая группа и, кстати, большинство консультантов работают бесплатно.
— А что будет, когда грант «Династии» закончится?
М.Ф.: На ту часть этого единого проекта, которая связана с «Корпусом экспертов», может быть, удастся привлечь средства заинтересованных венчурных капиталистов. Тогда на остаток можно надеяться получить продолжение гранта «Династии».
Г.Ц.: При имеющемся алгоритме повторный пересчет следующего года на порядок менее трудоемок, чем то, что происходит сейчас, и реально может быть сделан за месяц-полтора в конце года. Еще был план посмотреть цитирования руководителей проектов РФФИ, но это не сейчас, конечно. Тем более, что РФФИ очень замедленно публикует сведения о поддержанных проектах. И, кстати, к вопросу, с кем взаимодействовать, а с кем — нет. Все-таки ключевыми словами в этом проекте являются «экспертиза», «проведение конкурсов». Когда рабочая группа решает, во что ввязываться, а во что — нет (неважно, на каких условиях), то прежде всего она выясняет — а как конкурс-то будет проведен, каковы регламенты? Практика показала, что в рамках отдельных секций РФФИ, отдельных конкурсов РФФИ при существующих регламентах можно сделать что-то разумное, и тогда в этом есть смысл участвовать.
— Можно сказать, какие это секции?
М.Ф.: В 2009 году происходил довольно известный специальный конкурс РФФИ под названием «офи-м».
— К этому конкурсу были большие нарекания.
М.Ф.: Специфика этого конкурса состояла в том, что каждый из его 18 разделов жил своей независимой жизнью. Раздел «Криогенные наноструктуры» находился под попечением академика А.Ф.Андреева, и по этому разделу была создана экспертная коллегия из специалистов по физике низких температур и нанофизике. Был проведен конкурс с использованием «Корпуса экспертов» по физике конденсированного состояния, и к этому разделу конкурса, насколько мне известно, никаких нареканий не было. Что касается конкурса в целом, то самое странное — что нам до сих пор не удается найти, где опубликованы его результаты (почти 2 года прошло!).
Имеется другая (финансируемая «Династией») программа — «Краткосрочные визиты иностранных ученых в Россию». Любая лаборатория в области физики или математики, работающая где угодно в России, может подать заявку на приглашение человека из-за границы на две недели — на семинар, курс лекций и тому подобное и в течение недели или двух получить ответ. Заявку рассматривают три или изредка два рецензента из «Корпуса экспертов».
Г.Ц.: Есть еще пример крупномасштабного действия: один из экспертов по физике, Владимир Шабаев из СПбГУ, был привлечен ректоратом к организации внутриуниверситетского распределения грантов. Он делал совершенно нетривиальные, на наш взгляд, в масштабах такого учреждения шаги, в результате которых состоялся реальный конкурс. Там было много проблем и компромиссов, разумеется, много претензий от тех, кто эти гранты не получил, но там удалось осуществить нечто разумное. Так, топ-группа 10% была определена просто «по наукометрии». А для остальных была экспертиза, к которой привлекались и эксперты «Корпуса». Дополнительно по просьбе организаторов мы предоставляли список возможных экспертов по химической физике, которые по общему алгоритму в «Корпус» не попали, набрав 4, а не 5 голосов (химфизика «размазана» и в списках цитирования представлена слабо).
В этом случае мы взаимодействовали с госучреждением потому, что регламенты, надо которыми люди в Санкт-Петербурге работали и пробивали их через ректорат ценой, по-видимому, очень больших усилий, оказались разумными. Это было впервые для масштаба целого университета.
— Видимо, проект, направленный на организацию действительно независимой экспертизы, неизбежно должен быть общественным.
М.Ф.: Безусловно. Сколько-нибудь содержательное исследование в этой области не может начинаться с инструкции, пригодной для утверждения каким-нибудь органом. А инстанции не могут действовать иначе. Это — исследовательский проект, его нельзя строго запрограммировать с самого начала, иначе он с неизбежностью придет к бессмыслице. По ходу проекта нужно все время его подправлять.
В этом смысле у наукометрических исследований злая судьба, потому что непонятно, кто, собственно, специалист. Если специалистов не сложилось по историческим причинам, этой деятельностью занимаются администраторы, которым исследовательский подход к делу обычно не свойственен. А здесь без него не обойтись, если хотите какого-то осмысленного результата. Этим приходится заниматься научным работникам, отрываясь от своей непосредственной области деятельности.