Еще раз спасибо всем поддержавшим «Корпус экспертов» (КЭ) в ходе летнего краудфандинга [1]. Несмотря на отпускной и полевой сезоны, за 60 дней было собрано 1 238 249 руб. Спасибо ТрВ-Наука за информационную поддержку, фонду «Эволюция» — за предоставление площадки для этого процесса. На прошедшей неделе собранные средства переведены в Независимый московский университет, выступающий в роли юридического лица КЭ.
В краткой форме итоговая статистика краудфандинга такова. Общее число поддержавших проект — 431, в том числе 370 работающих в области естественных наук и математики, включая 7 академиков РАН, 33 членов- корреспондентов РАН и 14 профессоров РАН. Это коллеги, работающие в 30 городах, 8 наукоградах и научных поселках, а также 14 коллег из диаспоры (им было довольно сложно осуществить перевод, но некоторым удалось). Наиболее велико число участников-физиков (42%, не считая био-, гео- и химфизиков). Следующая по величине группа — биологи (23%, включая биофизиков). Все наблюдавшиеся в июне-июле тенденции, касающиеся наиболее активных узких специализаций и городов (описаны в [2]), сохранились на завершающем августовском этапе.
Краудфандинг был очень важен для КЭ не только в материальном смысле, но и как своего рода опрос общественного мнения. Итоги опроса, безусловно, влияют на планы развития проекта в части анализа разнообразных данных, накопленных за десять лет в базе КЭ.
Исследования подробностей (около)научной жизни
В наиболее прямой форме опросом можно считать сбор средств на объявленные в [1] лоты. Хотя поддержка этих лотов (предполагаемых исследований разных аспектов (около)научной жизни) составила всего 13% от собранной суммы, мы уверены, что эти исследования нужны. В отношении пяти лотов, явно получивших поддержку в тех или иных областях, планируем действовать в следующем порядке.
«По следам мегагрантов». Сейчас мы актуализируем данные о публикациях для 153 мегагрантников, ранее введенных в базу КЭ, и еще раз сверяем наш список с «первоисточниками» информации о выделении мегагрантов. По публикациям будет прежде всего установлено, в какой степени мегагрантная научная продукция производилась именно при совместном участии приглашенного ученого и сотрудников принимающей организации, а также в какой степени продолжались исследования по тематике мегагранта после его завершения. Будет также рассмотрен вопрос о «пересечении» финансовой поддержки исследований мегагрантами и иными источниками — эта информация, доступная в Web of Science, тоже собирается в базе КЭ. В конце октября — начале ноября мы надеемся опубликовать первую версию такого исследования для биологии и физики.
«Популяционная генетика РАН». Скоро выборы и в РАН тоже… Традиционно после очередных выборов в РАН мы вводим в базу всех вновь избранных, а также обновляем сведения о званиях у тех, кто в базе давно имеется. Это не слишком сложно, так как в последние годы по большинству естественно-научных отделений в РАН избирают достаточно цитируемых специалистов, которые в базе уже есть. К концу года постараемся опубликовать пробное исследование по популяционной генетике математического отделения РАН (по математике этот лот получил максимальную поддержку).
«Танцы с бубнами» и «Эффект кресла». Предварительно планируем на первую половину 2020 года по физико-математическим и по биологическим наукам соответственно.
«Мал золотник, да дорог». Проблема цитирования в малоцитируемых областях является важнейшей для проекта КЭ, и в части биологических наук (преобладающая поддержка этого лота) мы начинаем заниматься вопросом о типичных показателях цитирования для разных направлений уже сейчас. Но это будет не быстро: продвижение к прозрачному результату сильно зависит от готовности профильных консультантов комментировать промежуточные данные, извлекаемые из базы КЭ. В ходе краудфандинга нескольких таких консультантов удалось найти.
Таблица 1. Интерес, проявленный к «лотам», выраженный в тыс. руб.
|
Лот |
Астрономия |
Биология |
Математика |
Механика |
Науки о Земле |
Физика |
Химия |
Всего |
|---|---|---|---|---|---|---|---|---|
|
По следам мегагрантов |
5 |
26,5 |
3 |
1,1 |
0 |
25,5 |
4 |
65,1 |
|
Популяционная генетика РАН |
1 |
6 |
11 |
0 |
0 |
1 |
2 |
21 |
|
Танцы с бубнами |
0 |
3 |
10 |
0 |
4 |
8,5 |
0 |
25,5 |
|
Под одну гребенку |
1 |
0 |
0,6 |
0 |
0 |
2 |
6 |
9,6 |
|
Слияния институтов |
1 |
2 |
0 |
0 |
0 |
2 |
1 |
6 |
|
Эффект кресла |
0 |
13 |
0 |
0 |
0 |
0 |
2,5 |
15,5 |
|
Мал золотник |
0,6 |
19 |
0,15 |
0 |
1 |
0 |
0,5 |
21,25 |
|
Всего |
8,6 |
69,5 |
24,75 |
1,1 |
5 |
39 |
16 |
163,95 |
Вопрос о малоцитируемых областях тесно связан с вопросом, на который нам часто приходится отвечать: насколько полны списки цитирования [3]? Полагаем, что этот вопрос пора уже рассматривать в широком смысле, т. е. говорить о полноте списков не в связи с условными порогами по цитированию, а в связи с их представительностью как списков специалистов, заметных в международной научной среде по публикациям. Это не вопрос обязательных публикаций в журналах той или иной «категории», «импактности» или страны. Как мы неоднократно разъясняли, доступное в Web of Science «скрытое цитирование» позволяет выявить интерес к работам, опубликованным даже в малодоступных для зарубежных коллег источниках. Как снизить пороги в списках, чтобы в них попали квалифицированные и авторитетные люди из малоцитируемых областей, но при этом не попали просто все подряд? Чтобы списки [3] были вполне репрезентативны как источник информации о специалистах по всем конкретным узким направлениям?
Кстати, о госстатистике
В ходе краудфандинга по мотивам присходивших обсуждений мы изучили новый для КЭ вопрос о госстатистике. Из источника [4] удалось узнать, что в 2017 году в области естественных наук работало около 80 тыс. человек, из них с ученой степенью — примерно 43 тыс. человек (см. таблицу ниже). Эти цифры полезно иметь в виду при обсуждении вопроса о том, насколько база КЭ репрезентативна и каковы перспективы ее расширения.
![Данные [4] по числу исследователей, работающих в разных науках. Красным выделены данные для естественных наук](https://trv-science.ru/uploads/1-2.png)
Наличие кандидатской степени для естественных наук является нормальной квалификационной ступенькой, в том числе и в смысле появления публикаций. Понятно, что молодые люди до защиты диссертации часто еще не «накапливают» публикаций в количестве, достаточном для перехода порогов в активном списке КЭ (хотя альтернативные случаи, при работе аспирантов в активных командах, нам известны). Поэтому имеет смысл прежде всего обсуждать отличия цифр из базы КЭ (см. в [5]) от указанных 43 тысяч.
Работающих в России в списках [3] сейчас 72%, т. е. около 7,7 тыс. человек. Кроме них, в базе КЭ еще около 6 тыс. специалистов, рекомендованных коллегами в опросах, — это в основном представители низкоцитируемых направлений и люди, занятые прикладными задачами. Таким образом, база КЭ содержит сведения о 13,7 тыс. человек, или почти 1/3 занятых в сфере естественных наук специалистах со степенью. Во-первых, это очень даже немалая часть — особенно если учесть, что собранные по публикационным признакам независимо от чинов и званий — это с большой вероятностью продуктивные специалисты. Во-вторых, сведения об этой 1/3 собраны в базе КЭ с подробностью, на два порядка превосходящей всё, что имеется на тему статистики науки у любых «официальных органов». Прежде всего в смысле реальной научной специализации каждого из этих 13,7 тысячи, определенной в терминах современной науки. В-третьих, конечно, было бы полезно расширить представительность базы КЭ на оставшиеся пока «за бортом» 2/3, а также на часть «неостепененных» коллег, прежде всего прикладников.
Нет сомнений в том, что при таком расширении можно было бы обнаружить заметное количество людей, занимающихся вполне полезной работой по техническому обеспечению исследовательской работы своих коллег. А также обнаружить людей, публикующих содержательные статьи, не проходящие порогов КЭ по причине узости научной тематики (что еще вовсе не означает ее «неактуальности») и малости числа потенциально цитирующих коллег. Наконец, неизбежно будут обнаружены и лица, вовсе ничего научно полезного не производящие. Надеемся, что когда-нибудь такое широкое исследование тоже будет проведено. Но для него необходимо участие значительного числа заинтересованных консультантов из разных областей науки.
Помочь процессу расширения можно путем рекомендаций. Большой опрос КЭ завершен почти два года назад, но все специалисты из списков [3], не получавшие нашу анкету или не отвечавшие на нее, могут дать рекомендации в любой момент. Для этого нужно написать администратору проекта Ольге Ивановне Гармаш с просьбой прислать анкету (адреса на титульной странице списков [3]).
Еще раз всем спасибо за поддержку.
Михаил Фейгельман, Галина Цирлина,
координаторы проекта «Корпус экспертов»
- crowd-expertcorps.ru
- trv-science.ru/2019/07/30/volnovye-yavleniya-v-crowdfundinge-expertcorps/
- expertcorps.ru/science/whoiswho
- Индикаторы науки: 2019: статистический сборник / Л. М. Гохберг, К. А. Дитковский, Е. Л. Дьяченко и др. — М.: НИУ ВШЭ, 2019
- trv-science.ru/2019/07/02/pochemu-expertcorps-objavil-crowdfunding/
Пользуясь случаем, озвучу несколько тезисов по КЭ.
1. Исходную идею КЭ по поиску экспертов можно сравнить с идеей обратиться к людям из списка «Форбс» с предложением стать экспертами или посоветовать кого-либо из своей среды, для решения всех вопросов жизни общества. С большой вероятностью это должно привести к тому, что вопросы будут решаться либо в интересах богатых, либо с благими намерениями, но без понимания реальной жизни простых людей с их интересами и проблемами.
2. Данные, на которые опирается КЭ, изначально не достоверны (что можно сравнить с пресловутыми базами ФМС и ГАС Выборы, по которым проверяли подписи). Мне, как математику, наверное, труднее это принять, чем физикам и химикам, где всегда есть погрешность. В науках, где характерны массовые публикации и цитирования, ошибки частично сглаживаются за счет закона больших чисел, в других случаях этим пренебрегать нельзя.
3. Показатели, которыми оперирует КЭ, являются по сути грубыми и примитивными, если сравнить, например, с алгоритмами PageRank, используемыми для оценки сайтов в Интернете (где еще 20 лет назад поняли, что просто число ссылок ни о чем не говорит).
4. Даже те же самые данные можно было бы использовать более осмысленно. Списки по полной цитируемости и CI-7, превышающим красивые «круглые» числа, и без учета конкретных областей, были абсурдны с самого начала. Правильней было бы разделить ученых по разным областям науки, упорядочить по возрастанию показателей и взять верхний квартиль (или иной квантиль). То есть хотя бы просто применить к людям тот алгоритм, который применяется к журналам (по импакт-фактору).
5. Как и в случае с богачами из «Форбс», возникает вопрос, в какой степени какие-то показатели (и даже отзывы от нем) действительно характеризуют самого человека, а в какой обусловлены его происхождением, окружающей средой и стечением обстоятельств. Понятно, что люди работают в очень разных условиях. Например, останутся ли «хорошие» ученые такими же «хорошими», если из Москвы или иного крупного научного центра их отправить выживать в провинцию, бедность и безысходность.
6. При предварительном отборе «лучших», в силу большой фрагментации науки, группы людей, в которых можно собирать отзывы друг на друга, могут оказываться столь малыми, что закон больших чисел не работает, зато легко возникают конфликты интересов. Например, в списке КЭ из около 500 математиков, имеется несколько известных мне вероятностников, при этом большинство из них находится в прямом подчинении у одного из них.
7. Возникает вопрос об этичности и легитимности исследований КЭ. По сути это исследования в сфере наук о человеке. В этой сфере часто считается важным согласие людей, которых исследуют, будь то социологические опросы, клинические испытания или др. Здесь же, по-видимому, даже большинство людей, входящих в пресловутые списки, не знают об этом, даже о существовании этих списков и самого КЭ – иначе как объяснить столь печальное число участников краудфандинга? Теперь эти исследования предполагается расширить на всех, никого особо не спрашивая. Непонятно, почему КЭ считает себя вправе играть в Страшный суд, отделяя «агнцев» от «козлищ». Допустим, к тому, что так ведет себя государство, мы привыкли, как к неизбежному злу, к тому же через него идут почти все деньги на науку и образование. Но КЭ – не государственный орган.
8. Известен «Принцип Питера» о том, что каждый сотрудник организации имеет тенденцию достигать своего уровня некомпетентности. Речь идет о том, что если сотрудник хорошо справляется со своей работой, его повышают, пока он не достигнет уровня, где больше не справляется. Аналогичное явление возможно не только при повышении, но и, например, при расширении сферы деятельности. Мне кажется, это произошло и с КЭ. Все началось хорошо — с физики конденсированного состояния, а дальше шло все хуже. Не знаю, в какой момент, но по крайней мере с включением математики в сферу деятельности, этот рубеж явно был перейден.
9. По поводу итогов краудфандинга. В нем приняло участие 431 человек, число же работающих в естественных науках с ученой степенью оценивается в 43 тысячи человек. Если использовать метафору стакана, который наполовину пуст или наполовину полон, здесь мы имеем дело со стаканом, наполненным на 1/100. Презентовать это как впечатляющий успех – просто шикарно.
Согласен полностью, особенно по пунктам 6,7 и 9. Пункт 8, имхо, нуждается в раз’яснении, поскольку деятельность КЭ в математике, насколько я знаю из статей / интервью В.А. Васильева и С.К. Смирнова, провалена, а убрать математику из полного названия «Корпус экспертов по естественным (?) наукам и математике» аффторы по непонятным мне лично причинам покуда не удосужились. А надо бы! Ждем-с!
Л.К.
То, что эта деятельность в математике провалена, фактически подтвердилось еще в обсуждении https://trv-science.ru/2019/05/07/po-sledam-diskussij-na-obschem-sobranii-ras/ со слов самих авторов, хоть до стадии принятия еще далеко. В этом КЭ тоже ведет себя подобно государственному органу, который не может просто прекратить деятельность в каком-то направлении, за которое взялся, как бы провальна она ни была. Но может быть, со временем здравый смысл возобладает.
«Правильная стратегия оценивания — чрезвычайно серьезный вопрос, требующий добросовестного, умного и беспристрастного решения. (Возможно, какое-то разумное приближение к такой стратегии представляет собой концепция Корпуса экспертов.) »
Из интервью академика математика В.А.Васильева https://trv-science.ru/2016/12/06/khirshemaniya-i-khirshefobiya/
«Возможно, какое-то разумное приближение… » — такое построение фразы, по-моему, не свидетельствует об уверенности. Скорее на то, что человек не очень в теме, но хочет поддержать тех, кого считает «своими». Пусть даже эти «свои» делают что-то не совсем то, за что сам выступаешь. Да и заключительная фраза там: «Но пока что в этом деле слишком много сталкивающихся интересов, эмоций и перетягивания одеяла на себя.»
Да, академик В.А.Васильев вошел в список КЭ из 547 (на данный момент) математиков. Но он не является официальным экспертом КЭ. Число официальных экспертов КЭ по математике на данный момент по-прежнему — ноль! Не является он также официальным консультантом КЭ (согласно их сайту). Гайфуллина, о котором шел тогда разговор, в список так и не включили. У Перельмана по-прежнему CI-7 равен 3.
Из Вашей критики КЭ можно сделать неверный, как мне кажется, вывод, что КЭ в математике — вредная затея, поскольку нацелена на решение проблемы которой нет. А на самом деле проблема есть. Нужно знать, кто является экспертом в некоторой области математики и для того, чтобы консультироваться по вопросам практического применения теории, и для того, чтобы разумно распределять гранты. Многие (видимо большинство) математиков считают, что просто наукометрических показателей недостаточно. С другой стороны, сегодня невозможно найти такого одного (и даже десятерых) выдающегося математика, которой бы разбирался во всех областях и мог указать эксперта по любой теме. Организаторы КЭ предложили некоторую «гибридную» методику определения экспертов. Для математики она не сработала. Может быть для математики нужна совсем другая методика, может быть исполнение подкачало. Но сама проблема определения экспертов осталась.
Общей проблемы поиска экспертов и нет. Бывают частные проблемы поиска экспертов разными людьми, с разными представлениями и возможностями, для решения разных конкретных реальных задач. До сих пор люди как-то справлялись с этим без КЭ. В каких-то случаях справлялись хорошо, в каких-то, может быть, плохо. Последствия этого, хорошие или плохие, также имели локальный характер. Централизация и унификация в решении проблемы поиска, в отрыве от реальных задач, представление решения по «научной методике» как «научной истины» (которая предполагается, что существует и единственна) может нести вред, и последствия, в том числе плохие, могут быть более глобальными (в масштабах страны).
Кроме грантов, надо еще получать вразумительные результаты, которые можно объяснять немногочисленным окружающим (в математике). По-хорошеиу, гранты нужны лишь аспирантам и постдокам, а у нас их переводят на бывших ученых — типа рффи-а
Возможно в МГУ размер зарплаты позволяет сотрудникам не использовать гранты как добавку к зарплате. В начале этого года в своём институте я подписал контракт на работу в должности снс со ставкой 22400 рублей. Поскольку теперь конкурс происходит через интернет-платформу можно было убедиться, что и в других институтах соран предлагаемые ставки подобного размера. По-хорошему ставка должна быть побольше, а пока гранты нужны и научным сотрудникам с большим стажем.
Скан распечатки из бухгалтерии со всеми симулируюшими надбавками опубликуйте — а не ставку
Не отрицаю, что получаю по гранту в несколько раз больше ставки. Лишь выражаю сомнение, что деньги по гранту мне и коллегам не нужны. Сотрудников, не имеющих грантов и надбавок по ПРНД, в нашем институте немало.
Похоже, вы обижены на каких-то своих коллег или знакомых, а срываете зло на незнакомых людях, которые вам ничего не сделали и обсуждают здесь совершенно другие вещи. Нехорошо это.