Проекту «Корпус экспертов по естественным наукам» [1] вскоре исполнится восемь лет. Все эти годы «Индексы цитирования работ российских ученых» (известные также как «Списки Штерна») [2], размещенные с 2009 года на сайте проекта, привлекали, пожалуй, больше внимания, чем собственно формирование экспертного корпуса.
Алгоритм опроса специалистов из «Списков Штерна» с приглашением в корпус экспертов людей, вызывающих доверие сообщества и потому многократно названных рекомендателями, хорошо работает для крупных цельных научных направлений, в которых сохранились устойчивые внутренние традиции. Наиболее результативными (и в смысле формирования пула экспертов, и в смысле их дальнейшего участия в различных экспертных задачах) были опросы по физике конденсированного состояния, молекулярной и клеточной биологии, астрономии. Значительно менее активно участвовали в опросах представители других наук, и часто не удавалось выбрать заметное число экспертов просто из-за небольшого числа рекомендаций в каждой анкете. Одной из важных проблем этого «недобора», безусловно, была и неполнота «Списков Штерна» в части некоторых наук.
Рабочая группа использовала разнообразные способы пополнения списков цитирования. Наиболее последовательный, хотя и чрезвычайно трудоемкий способ с 2013 года в инициативном порядке реализует консультант проекта Сергей Крашаков. Он извлекает из РИНЦ (то есть фактически из коллективного списка отделов кадров всех научных организаций) фамилии специалистов, у которых, согласно этому РИНЦ, имеется заметное цитирование, и проверяет данные по Web of Science (WoS). В ряде случаев оказывается, что найденные таким образом специалисты отсутствуют в «Списках Штерна», хотя и соответствуют принятым в них критериям. После этого новые фамилии немедленно выводятся в списки.
С 2014 года в списки цитирования выводятся также и представители диаспоры. Было только два случая отказа от публикации имени в этих списках: один представитель диаспоры не хотел иметь ничего общего с российским ресурсом, и один работающий в РФ специалист был глубоко возмущен невозможностью вывести вместо данных WoS более высокий индекс цитирования по Google Scholar. Сейчас в списках в четыре раза больше специалистов, чем было при переводе ресурса с scientifc.ru на expertcorps.ru в 2009-м. И, как мы надеемся, шансы на формирование более широкого экспертного корпуса появились.
В апреле 2015 года в рамках проекта «Корпус экспертов по естественным наукам» был начат большой опрос всех специалистов, входящих в «Списки Штерна». Цель опроса — существенно расширить списки экспертов и обеспечить «охват» ими как можно большего числа научных областей в ожидании массированной оценки научных организаций.
После летнего перерыва с 5 сентября опрос продолжается. В каждой рассылке направляется около 500 писем рекомендателям в порядке их включения в списки цитирования. Пока ответивших немногим более 30%. Рабочая группа проекта «Корпус экспертов» обращает внимание коллег на то, что не слишком большие затраты времени на заполнение анкеты могут вполне реально повлиять на последствия оценки институтов, способствуя обеспечению квалифицированной экспертизы. Это, конечно, не избавит нас от законодательно зафиксированного подсчета «формальных показателей», но может существенно ослабить его негативные последствия.
У коллег, получивших письма с просьбой заполнить анкеты, возникает много вопросов, комментариев и предложений. Недавно, например, поступило предложение «не изобретать кривой велосипед с квадратными колесами» и использовать для оценки институтов два критерия: «а) стоимость единицы импакт-фактора и б) стоимость единицы цитирования опубликованных работ». И поступило оно вовсе не из Минобрнауки. Мы отдаем себе отчет в том, что далеко не все цитируемые специалисты являются сторонниками экспертной оценки вообще, а многие не являются сторонниками алгоритма выбора экспертов, используемого в данном проекте. Безусловно, могут быть независимо реализованы и какие-то иные алгоритмы. Однако они пока что никем даже не проработаны, а время и «реформа науки» движутся вполне необратимо.
От рабочей группы проекта «Корпус экспертов по естественным наукам» Михаил Гельфанд, Михаил Фейгельман, Галина Цирлина
Эти списки заполняются с произволом. Захотели — включили автора, не захотели — не включили. На обращение можно позволить себе не обращать внимание. Вероятно, создатель и администраторы этой системы повышают свой авторитет таким образом.
Напрасно Вы так думаете. Создатели этой системы много лет работают над тем, чтобы в нашей стране появилось действительно независимое экспертное сообщество. Не по выбору сверху, а из самой среды активно работающих ученых.
После всех конкурсов по городам и весям разносится плач Ярославны по поводу низкого качества и предвзятости экспертных оценок. Это как раз потому, что вменяемого экспертного сообщества нет. Или Вы хотите ждать, когда нам его спустит ФАНО или МОН? Можно и так. Но только потом не обижайтесь…
А почему Вас пугают ведомственные эксперты ФАНО и МОН? Наоборот, тех.задание им выписать, коль бюджет потебляют, и пускай формируют свои корпуса экспертов. Будем сравнивать по результатам работы.
Хотите устроить битву экстрасенсов? Я не экстрасенс, но результат предсказать могу: высокое начальство в итоге заявит “мы тут с экспертами посовещались, и Я решило…”.
Сомневаюсь, что с такими умозаключениями начальство останется начальством в течении длительного периода.
А вообще-то, арбмтражный орган нужен, для проверки качества экспертизы, «о, сколько нам открытий чудных…». Да-да, и Винер про обратные связи писал, потому как — нужны.
Хороший арбитраж это хорошо, однако у МОН, судя по его деятельности, весьма убогое представление о научной экспертизе и экспертах, а у ФАНО такого представления пока вообще нет — оно ещё краудсорсингами мается. Так что, качественных экспертов для проверки качества экспертизы от этих ведомств ожидать нереально.
а хорошим экспертам позвольте поинтересоваться сколько денег за труд дадут ведь например в РФФИ и в рнф вся оплата копеечная что-то около 1 тыра деревянных за экспертизу чистое ограбление тружеников пусть гонорары привяжут к окладам Ливанова котюкова
Ну, если дадут мало, Вы ведь сможете отказаться.
Если на Ваше обращение по адресу проекта не было ответа (что вполне возможно при попадании вопроса в спам), то существует три способа продублировать это обращение:
— на личный адрес администратора (указан на http://expertcorps.ru/science/whoiswho; там прямо написано — «Если Вы не получили ответа в течение суток, направьте пожалуйста копию письма на адрес ….),
— на личные адреса членов рабочей группы (указаны на http://expertcorps.ru/science/about.html, нажимайте на фамилии),
— через on-line заявки через личные окна в списках.
Ждем Вашего обращения. Всего доброго, ГЦ