«Карта российской науки»: pro et contra

В минувшие две недели российское научное сообщество активно обсуждало достоинства и недостатки «Карты российской науки». Впрочем, о достоинствах почти не говорили. Мы попросили ученых, участвовавших в тестировании «Карты», высказать свое мнение об этом продукте.

Ольга Москалева,
член рабочей группы, сформированной Минобрнауки для решения методологических вопросов проекта:

Информационная система «Карта российской науки» (www.mapofscience.ru), запущенная в опытную эксплуатацию 12 ноября 2013 года, вызвала большое количество негативных откликов, в основном, из-за отсутствия официальной информации о проекте со стороны Минобрнауки (см., например, [1]-[4]).

На прошлой неделе практически одновременно появились заявления по этому поводу от Совета ОНР [5] и от Комиссии общественного контроля за ходом и результатами реформ в сфере науки [6]. Начинаются они похоже, с перечисления того, что плохо в «Карте науки», что там неправильно по публикациям, количеству сотрудников в институтах, их должностям и т.д. Рекомендации на основе этих замечаний даются прямо противоположные. ОНР призывает «научных работников зарегистрироваться на сайте КРН, чтобы принять активное участие в тестировании проекта и в выработке предложений по его доработке». Комиссия же советует «воздержаться от обращений к системе «Карта российской науки» для внесения туда каких-либо изменений».

Так что же в такой ситуации делать научным сотрудникам, оказавшимся в ситуации прямо противоположных указаний? Как отмечалось в блогах, ученые — народ самостоятельный и сами решат, что им делать. Тогда для чего и для кого принимаются эти заявления? Где ставить запятую в отношении Карты науки — «казнить нельзя помиловать»?

Возникший ажиотаж во многом спровоцирован заявлениями Минобрнауки о том, что «Карта» практически готова и вот-вот будет использована для оценки научных организаций. Между тем в самом начале этого проекта «Карта» позиционировалась вовсе не как инструмент для оценки, а скорее, как инструмент в помощь самим ученым, снижающий временные затраты на заполнение заявок на гранты и дальнейших отчетов по ним. Предполагалось, что благодаря этой системе будет легче находить и подбирать экспертов по разнообразным областям знаний, в том числе и для проведения конкурсов грантов, формирования диссертационных советов и т.д.

Какова же история вопроса и что сейчас в действительности есть в «Карте российской науки»?

Создание этого проекта впервые было анонсировано летом 2012 года, вскоре после назначения Дмитрия Ливанова министром. Сначала ничего, кроме общей идеи, озвучено не было, и можно было предположить, что министерство собирается закупить уже готовые аналитические системы у Elsevier или Thomson Reuters. Это прежде всего линейка инструментов SciVal, осуществляющих весьма сложный анализ публикаций, представленных в базе данных Scopus на основе анализа социтирований. Она создана компанией Elsevier и широко используется во всем мире для оценки научной продуктивности организаций, стран и регионов. Совершенно другой подход (с использованием нормированных показателей цитирования, позволяющих сравнивать разные области знаний и публикации разных лет) реализован в InCites, разработанном компанией Thomson Reuters. Он использует базу Web of Science (WoS).

Краткое описание этих инструментов и их возможностей можно найти в [7] или на сайтах компаний-производителей. В SciVal сейчас есть уже построенные карты науки как для России в целом, так и для довольно большого количества российских университетов и научных институтов РАН и РАМН. В InCites также имеется много проработанных наборов данных для отдельных российских организаций и регулярно обновляются данные для России в целом.

Конечно, на основании данных WoS или Scopus трудно делать выводы о состоянии науки в России, поскольку большая часть научных публикаций российских ученых в этих базах не индексируется, в особенности по социально-гуманитарным областям. Однако Российский индекс научного цитирования, где достаточно полно представлены гуманитарии, в меньшей степени годится для оценки публикаций естественников.

Напрашивается мысль о сведении российских публикаций и публикаций в международных журналах в одну базу и их совместном анализе, однако эта весьма непростая задача. Кроме того, для оценки научной деятельности сведений лишь о публикациях в научных журналах явно мало — есть книги, патенты, выступления на конференциях, гранты и т.д. Именно такая амбициозная цель и ставилась министерством -свети в одну информационную систему все эти данные и проводить совместный анализ, параллельно выстроив сервисы для оформления заявок, отчетов и подбора экспертов.

После консультаций Минобрнауки с представителями научных организаций и университетов, в которых имеются информационные системы сопровождения НИР, было сформулировано техническое задание на создание «Карты российской науки» и объявлен конкурс на заключение контракта стоимостью 90 млн руб., который выиграла консалтинговая компания PricewaterhouseCoopers.

В марте 2013 года основные детали концепции, а также некоторые результаты обсуждения на специально созданной дискуссионной площадке были представлены на заседании рабочей группы. На совещании состоялась презентация проекта PricewaterhouseCoopers, после чего членам рабочей группы и членам экспертных групп по областям наук была предоставлена возможность доступа к прототипу рабочего интерфейса «Карты науки» для высказывания замечаний и предложений. В июне начался второй этап тестирования «Карты науки», уже с частично загруженными данными из WoS и РИНЦ.

В настоящее время началась опытная эксплуатация промышленной версии «Карты российской науки», в которой каждый ученый может получить индивидуальные регистрационные данные и проводить проверку и корректировку данных о своих публикациях, грантах, патентах.

И вот тут, на фоне напряженности, связанной с реорганизацией академий наук, и нача лись все описанные в самом начале события.

Чем же конкретно вызвано такое резко отрицательное отношение большинства к еще недоделанному продукту? Основные претензии следующие:

• Несовпадение сведений о количестве публикаций ученого в WoS или РИНЦ с тем, что видно в «Карте науки», а также неверная «привязка» публикаций к ученым
• Неверные сведения об организациях в целом — количество сотрудников, количество академиков, докторов и т.д.
• Появление непрофильных научных направлений в сведениях об институтах.

Часто проводимое в блогах сравнение «Карты науки» с WoS и Scopus некорректно в принципе, поскольку этот проект не является индексом цитирования, а в Google Scholar нет поиска по организациям.

Все эти ошибки совершенно неизбежны и легко объяснимы. В «Карту науки» загружены сведения из WoS, отобранные по признаку указания аффилиации с Россией и российскими организациями, а не по фамилиям ученых Поэтому для начала каждому ученому, сверяющему свои данные в WoS и в «Карте науки» необходимо вспомнить или проверить, какая аффилиация указана в отсутствующих в «Кар те науки» статьях.

Скорее всего окажется, что указана зарубежная организация или аффилиация совсем отсутствует. Такие публикации не могли попасть в загруженный массив публикаций в принципе. Если публикации из WoS приписаны другому ученому или ученый «размножился» на несколько разных профилей, то хорошо бы задать себе вопрос: «А что я лично сделал для того, чтобы все мои публикации в WoS были собраны в один профиль, не перепутаны с публикациями однофамильцев?» Ведь для этого уже давно создана система регистрации авторов ReseracherlD, очень помогающая избегать подобных ошибок в базе.

Тем не менее, на сегодняшний день в ResearcherlD зарегистрировано только 11 472 автора из России при общем количестве ученых более 300 тыс. (а в «Карте» указано даже более 600 тыс., но сюда входят студенты, аспиранты и иностранные соавторы). Для сравнения: в Италии зарегистрировано 11 245 ученых в Германии — 11 733, в Великобритании — больше 20 тыс., а в Китае — больше 36 тыс.

Что касается неправильной приписки статей организациям, то попытка найти публикации организации в WoS зачастую оказываются почти неразрешимой задачей из-за излишне творческого подхода как к указанию аффилиации, так и из-за обилия вариантов названий на английском языке. Это усугубляется еще и постоянными реорганизациями, слияниями и поглощениями, затрудняющими определение, к какой организации может относиться та или иная публикация.

Сейчас в WoS создано довольно большое количество объединенных профилей организаций (Organization-Enhanced), сливающих в одну запись все названия организации. Только у ФИАНа, обиженного 1 статьей по овощеводству, в объединенном профиле 72 разных названия, причем нет никакой гарантии, что это полный список. У Курчатовского института такого объединенного профиля вообще не существует, а СПбГМУ им. Павлова, не имеющий подписки на Web of Science, вовсе оказался включенным в профиль Института физиологии им. Павлова РАН…

Совершенно аналогичная ситуация с данными в РИНЦ: в системе Science Index — автор, предназначенной для того же в отношении РИНЦ, что и ResearcherlD по отношению к Web of Science, на сегодня зарегистрировано 180 тыс. ученых, однако большая часть из них активно занялась проверкой своих публикаций и цитирований только в 2013 году В аналогичной системе для организаций зарегистрировано 380 организаций, а автоматическая привязка публикаций к ученым и организациям, даже без отягощающего фактора неправильного перевода или транслитерации, тоже не всегда возможна и требует проверки со стороны организаций.

По поводу несовпадения данных «Карты науки» и количества публикаций в РИНЦ есть еще один фактор, который практически никем не принимается во внимание — в РИНЦ загружаются в том числе данные из Scopus, но для «Карты науки» представлялись только публикации в русских научных журналах.

Данные о должностях, званиях и принадлежности к конкретной организации в «Карте науки» берутся исключительно из профилей авторов, зарегистрированных в системе Science Index. Регистрация в этой системе осуществляется на базе имеющейся регистрации пользователя РИНЦ. Так что если ученый начал пользоваться РИНЦ с 2003 года и указал свою должность на тот момент и при заполнении дополнительных сведений при получении SPIN-кода не обновил данные об изменившихся степенях, званиях и должностях, то сегодняшний член-корреспондент по имеющимся сведениям «Карты науки» вполне может считаться доцентом и кандидатом наук.

Выборочное знакомство с данными «Карты науки» показывает, что представленные в ней сведения по организациям, которые осуществляют сверку состава профиля организации в Web of Science и зарегистрированы в системе Science Index — организация, совпадают в достаточно хорошей степени, а по организациям, не имеющим профиля в Organization-enhanced в Web of Science, наблюдается довольно большое количество ошибок. Эти ошибки ни разработчиками, ни министерством в принципе не могут быть полностью исправлены — для этого необходимо участие самих ученых и представителей организаций.

Никто из критиков не обратил внимание на гораздо более существенные моменты — отсутствие совместного анализа данных из РИНЦ и Web of Science (для чего и затевалась вся эта работа), а также полную неясность с дальнейшей судьбой этого проекта. Непонятно, как и на основании чего будут обновляться данные, с какой частотой. Нужно ли будет регулярное вмешательство ученых для проверки данных? Или это можно будет организовать в идеале путем синхронизации сведений в профилях авторов Science Index и ResearcherlD или ORCID, поля для внесения которых предусмотрены при регистрации пользователя в «Карте науки»?

То, что сделано, технически работает, графики строятся, имеющиеся данные в пределах реализованных на сегодня возможностей анализируются и даже в этом состоянии функции сервисов и единого хранилища данных о публикациях, патентах, грантах и др. будут очень полезны. При условии выверки и регулярного обновления данных система может быть универсальным поставщиком данных для различных отчетов, однако для аналитических функций возможности пока явно недостаточны.

Так и что же сейчас делать с «Картой науки» — исправлять или игнорировать? Какой из рекомендаций следовать — ОНР или РасКома? Имеющиеся ошибки данных неизбежны, исправлять их надо, без участия ученых и организаций не обойтись. Однако всё это имеет смысл только в случае четкого ответа на вопросы про дальнейшее обновление данных и дальнейшую доработку аналитических возможностей «Карты науки».

Андрей Цыганов, член ОНР:

На мой взгляд, список основных претензий к проекту «Карта российской науки» говорит именно об успехе данного проекта на настоящем этапе. Действительно, в этом проекте можно найти:

• разные сведения о количестве публикаций и цитирований ученого в WoS, РИНЦ и «Карте науки»;
• учет русской и переводной версии статей в личной карточке ученого;
• неверные сведения об организациях в целом, например, количество и состав сотрудников;
• список всех, в том числе и непрофильных, научных направлений в сведениях об институтах и т.д. и т.п.

Всё это следствие того, что разработчики ставят перед собой цель автоматического сбора информации и размещения всех собранных данных в одном месте. Они, не являясь экспертами, не берут на себя ответственности по исправлению, обработке и интерпретации информации, полученной официально из трех баз данных: РИНЦ, Web of Science и, как планируется, Scopus. Именно то, что разработчики так бережно относятся к каждой крупице информации и просто собирают всё в одном месте, и является главным достижением этого проекта в настоящее время.

Основной вопрос в том, что именно сообщество ученых доверяет делать, условно говоря, «чиновникам» и что не доверяет им делать, т.е. что ученые должны делать только сами, не доверяя никому другому.

Если мы говорим, что «чиновники» должны самостоятельно исправить сведения о наших публикациях, о наших цитированиях, это означает, что «чиновники» имеют право это делать, не опираясь ни на мнение самих ученых, ни на мнение институтов, ни на мнение экспертов. Нужно ли давать «чиновникам» такое право?

Например, если мы требуем от «чиновников» убрать дубликаты, т.е. даем право «чиновникам» самим решать какая версия статьи, русская и английская, должны быть на сайте, значит, мы доверяем «чиновнику» самому решать, какая публикация важна, а какая не важна, без учета мнения и автора публикации, и представителей института, где работа была выполнена.
Если мы требуем убрать из списка авторов публикаций института «лишних» авторов, это значит, что мы даем «чиновникам», а не официальным представителям институтов, право самим решать, кто работал, кто приглашался поработать временно, а кто вообще не работал в институте. Но тогда не обессудьте, если «чиновник» мгновенно распространит это свое право и на будущее время и будет уже сам решать, кому работать в этом институте, а кому нет.

Аналогично, если мы не хотим, чтобы «чиновники» имели право указывать институтам, какими научными направлениями заниматься, то нельзя им давать право решать, какими научными направлениями занимался институт за прошлые пять лет. Пусть автоматически вносят все направления, которые были указаны в публикациях авторов из данного института, в алфавитном порядке и не более того! Даже расставлять эти направления по приоритетам, а не по алфавиту должны иметь право только представители института, а не «чиновники» или анонимные эксперты.

Так что основной вопрос к «Карте науки» не в «кривых» данных, а в том, кто будет обрабатывать, обновлять и интерпретировать эти данные. На мой взгляд, нельзя предоставлять «чиновникам» лишние права. Обработка, анализ и интерпретация открытых данных по публикациям — это слишком опасный инструмент, чтобы добровольно передавать его в руки неспециалистов.

И дело тут не в «Карте науки», ну, будут вместо нее нас «оценивать» по Web of Science, по РИНЦ, по Scopus или по всем профессиональным базам данных вместе взятым. Дело не в данных, а в правилах обработки и оценки информации по публикациям и, главное, в обосновании правомерности применения тех или иных оценок в различных областях знаний.

Поэтому сообщество ученых, не отвлекаясь на мелочи, должно в первую очередь разработать строгие, детальные, обоснованные не только ссылками на великое прошлое и понятные для всего общества рекомендации по методике, обработке и интерпретации данных по публикациям в различных областях знаний, пока это не сделали другие. Уже нет времени на борьбу с ветряными мельницами, пришла пора ответить на всё тот же вечный вопрос: кто и на что имеет право, и чем за эти права придется заплатить?

Алексей Иванов, член ОНР:

У меня основная претензия не к техническим недостаткам «Карты науки», которых на данный момент огромное множество, а к более принципиальной вещи: вопрос в том, кто должен иметь право и возможность корректировать исходные данные. Совершенно правильно отмечено, что это могут делать только сами институты и сами ученые. В действительности, впервые термин «Карта науки» прозвучал в одном из наказов Общества научных работников (ОНР) к тогда только что назначенному министру Ливанову. В этом наказе ОНР отмечалось, что такая карта может быть построена только снизу, а для того, чтобы стимулировать научных работников заполнять на себя данные, предлагалось объявить конкурс персональных стипендий для ученых, выдаваемых автоматически при превышении некоторого порогового значения, которое априорно не было известно, но оценивалось в 5-7 публикаций за три года с таким учетом, чтобы поощрены были порядка 10 тыс. человек (http://onr-russia.ru/content/гранты-стипендии-03072012). В таком случае возникала ситуация «win-win». Ученых одарили пряником, а взамен Минобрнауки получило бы выверенную, пусть может быть и не до конца полную, базу данных по публикациям с точной привязкой до человека. К сожалению, министерство пошло другим путем. Оно стало делать «Карту науки» сверху. В итоге мы пришли к тому, от чего стартовали, — «Карту науки» можно заполнять только снизу. Однако уже никаких пряников ученым не предвидится, а вот в то, что будут бить кнутом, верится сразу и бесповоротно.

В этой ситуации я лично оказываюсь в ситуации отчетливого когнитивного диссонанса. С одной стороны, я всегда говорил, что реформы должны начинаться с оценки реального положения дел, и «Карта науки» — шаг именно в этом направлении. Соответственно, как член Совета ОНР я разделяю мысль, что данные в «Карте науки» нужно приводить в соответствие с действительностью, а никто, кроме самих научных работников, это сделать не может. С другой стороны, реформа уже идет полным ходом и жизненный опыт показывает, что властям наплевать на реальное положение дел. Им главное соблюсти некоторую формальность для внешней публики. Карта есть? Есть. Эксперты обсуждали? Обсуждали. Ученые вносили исправления? Вносили. А уж каково качество самой «Карты науки» — дело десятое. Поэтому я отлично понимаю рекомендацию Комиссии общественного контроля не иметь ничего общего с «Картой науки» до тех пор, пока не будет ясно, как ее планируется использовать.

1. http://ria.ru/science/20131126/979801742.html
2. http://www.gazeta.ru/science/2013/11/27_a_5771569.shtml
3. http://polit.ru/news/2013/11/26/ps_map/
4. http://tvkultura.ru/article/show/article_id/103790
5. http://onr-russia.ru/content/SciMap_boycott
6. http://rascommission.ru/index.php/documents/statements/53-karta-ivana-susanina
7. http://www.gazeta.ru/science/2013/01/13_a_4922177.shtml