Благими намерениями…

Через Сеть координации институтов мы получили информацию о том, что к.ф.н., зав. отделом научного сотрудничества ИНИОН РАН В.И. Герасимов, докт. полит. наук, руководитель Центра социальных научно-информационных исследований ИНИОН РАН Д.В. Ефременко и член клуба «1 июля», гл. н. с. МИАН им. В.А.Стеклова академик А.В. Кряжимский предложили провести анкетный опрос ведущих ученых РАН. В преамбуле их анкеты сказано следующее: «По инициативе сотрудников ряда академических институтов (МИАН, ИНИОН, Института ядерных исследований, Института океанологии, Института российской истории, Института экономики, ЦЭМИ РАН, Института географии, ИММ УрО) началась разработка дорожной карты самореформирования РАН. Важнейшим элементом в ее подготовке является широкий экспертный опрос ведущих специалистов РАН по проблемам самореформирования и перспектив развития нашей Академии. Проведение этого опроса согласовано с президентом РАН, академиком В.Е. Фортовым, 16 июля сего года.

Надеемся на Ваше заинтересованное отношение к этому проекту. Просим также оказать содействие в распространении прилагаемой анкеты среди ведущих специалистов РАН». С анкетой можно ознакомиться в Интернете по адресу: www.golos-epohi.ru/?ELEMENT_ID=11190.

Данное начинание вышеназванных ученых мужей не вызвало у нас восторга. По роду своей деятельности мы имеем некоторое представление о проведении разного рода опросов. Приходилось нам и самим пользоваться подобного рода инструментами. Всегда это требовало значительных усилий, включавших, в частности:

1) теоретическую проработку изучаемой проблемы,включающую среди прочего формулирование четкой цели планируемого исследования;

2) создание инструментария, соответствующего рекомендациям учебных пособий по социологии и другим общественным наукам;

3) определение генеральной совокупности, сведения о которой мы желаем получить путем опроса респондентов, входящих в выборку, основные параметры которой отражают характеристики генеральной совокупности;

4) определение способа формирования выборки и формирование этой выборки;

5) определение способа статистической обработки ожидаемых результатов и их обработку после сбора данных;

6) анализ результатов статистической обработки с учетом теоретических положений, положенных в основу опроса.

Знакомясь с предлагаемой анкетой, мы обнаружили значительное число ошибок в формулировках предлагаемых вопросов. Приведем лишь несколько примеров.

Вопрос: «Велико ли, по Вашему мнению, отставание России от развитых стран в области науки?» Предлагаемые альтернативы ответа: «да», «нет», «не знаю».

Очевидно, что вопрос сформулирован безграмотно. Как отвечать, если, по мнению респондента, в одних областях науки мы лидеры, в других — аутсайдеры, а в третьих наш уровень такой же, как у зарубежных коллег? Кроме того, степень отставания/опережения может быть различной. Понятно, что дихотомии да/нет недостаточно. Правильно было бы сформулировать вопрос примерно следующим образом: «Как бы Вы оценили уровень развития своей научной дисциплины в России по сравнению со следующими странами?» Затем в левом столбце дать перечень из нескольких стран по выбору составителя анкеты. А правее, напротив названия каждой из этих стран, поместить шкалу для сравнения с Россией, причем она должна включать больше двух позиций, а также предусматривать возможность дать ответ «затрудняюсь ответить». Еще лучше было бы спросить даже не об уровне развития целой дисциплины, а об уровне развития той исследовательской области, в которой специализируется респондент. Причем, название этой дисциплины или области он должен иметь возможность вписать в анкету. Если он компетентен в нескольких областях, то надо ему дать возможность отразить это в нескольких строках.

Вопрос: «Считаете ли Вы необходимым, чтобы Российская академия наук и в будущем осуществляла научное и организационное руководство институтами, входящими в ее состав в настоящее время?» Предлагаемые альтернативы ответа: «да», «нет», «не знаю».

Во-первых, вопрос чересчур тяжеловесный. Несколько лучше выглядит формулировка: «Считаете ли Вы необходимым сохранить научное и организационное руководство Российской академией наук институтами, входящими в ее состав в настоящее время?» Во-вторых, в этом вопросе совершена ошибка, которая известна среди специалистов как double-barreled question, т.е. «двуствольный вопрос», когда в одном вопросе фактически содержатся два вопроса. Один из них касается научного руководства, второй — организационного руководства. Ответ респондента на эти вопросы может не совпадать.

Вопрос: «Считаете ли Вы необходимым расширение полномочий Ученых советов научных учреждений?». Предлагаемые альтернативы ответа: «да», «нет», «не знаю».

Ответ на такой вопрос требует развернутого ответа, поскольку респонденту необходимо обозначить области, в которых полномочия ученых советов следует расширить или наоборот сузить, а также указать пределы этого расширения/сужения. Потребуется также поговорить о разграничении полномочий ученых советов, директоров институтов и вышестоящих структур.

Вопрос: «Следует ли при разработке критериев оценки научной результативности ориентироваться на достижение оптимального баланса экспертных оценок, наукометрических и библиометрических показателей?». Предлагаемые альтернативы ответа: «да», «нет», «не знаю».

Здесь респонденту будет непонятно, чем наукометрические показатели отличаются от библиометрических. Помимо этого, неясно выражение «оптимальный баланс». Ведь каждый из респондентов может понимать что такое «оптимальный баланс» по-своему. Для одних это только экспертная оценка, другие потребуют исключить экспертные оценки из-за их субъективности и т.д.

Вопрос: «Какие формы самоорганизации научного сообщества Вы считаете необходимыми в сложившихся условиях?» Здесь респондента просят самостоятельно сформулировать свою позицию. К сожалению, совершенно непонятно, о чем справшивают авторы анкеты. Под формой самоорганизации научного сообщества можно понимать и разные формы университетов, и подобные РАН академии наук, и ассоциации, объединяющие занятых во всех областях какой-либо дисциплины, и семинары, включающие совсем небольшое число участников и т.д.

Вопрос: «Назовите ключевые проблемы российской науки в современных условиях. Кратко представьте возможные механизмы их решения». Здесь непонятно, что авторы анкеты имеют в виду: важнейшие исследовательские вопросы, которые сегодня решают российские ученые или разного рода финансовые и организационные ограничения, снижающие эффективность научной работы. В любом случае это вопрос не для самозаполняемой анкеты, а для интервью, которое займет минимум 30 минут, если мы действительно заинтересованы в получении не только какого-то перечня проблем, но и развернутой аргументации, объясняющей позицию респондента и содержащей его предложения по оптимизации научной работы.

Но основным дефектом большого количества вопросов в анкете является их наводящий характер. То есть авторы анкеты как бы подсказывают респонденту желаемый ответ. Например, трудно ожидать, что на вопрос: «Согласны ли Вы с тем, чтобы ключевой составляющей процедуры назначения руководителей научных учреждений РАН должно быть тайное голосование полномочных представителей научных коллективов по кандидатурам всех претендентов на соответствующую должность?» значительное количество респондентов ответят «нет». Даже если мы оставим в стороне то, что данный вопрос содержит в себе несколько дефектов (тайное/нетайное голосование, кто такие полномочные представители, где происходит подобное голосование и др.).

Еще в 1940-е годы Роберт Мертон, один из основоположников социологии науки, в число четырех основных императивов научного это-са включил незаинтересованность, или бескорыстие. В случае с исследованиями отношения ученых к реформе РАН это должно пониматься как исключение собственного эмоционального отношения авторов исследовательского инструментария к изучаемой проблеме. К сожалению, позицию авторов мы ощущаем на протяжении заполнения всей анкеты.

Наблюдатель, предвзято настроенный в отношении РАН и имеющий представление о том, каковы правила проведения опросов, получив результаты подобного исследования, не преминет воспользоваться случаем и обвинит сотрудников РАН в нарушении правил научной этики.

Еще одним заслуживающим внимания сюжетом является вопрос о генеральной совокупности и выборке респондентов. В письме Герасимова, Ефременко и Кряжимского к членам клуба «1 июля», которое мы получили через Сеть координации институтов, говорится о том, что анкета видит в качестве респондентов как раз членов этого клуба, а также других «выдающихся специалистов РАН». Непонятно, кто такие эти люди, как их отделить от остальных сотрудников РАН, какова их численность. А от этого зависит определение размера выборки, способа отбора респондентов и способа доведения анкеты до респондентов, а также стимулирования ее заполнения. Определение размера выборки связано с четким пониманием того, что является генеральной совокупностью. Даже если допустить, что в выборку попадут только те респонденты, которые соответствуют пониманию авторами того, кто является выдающимся специалистом РАН, это не означает, что полученная выборка будет репрезентативной для всей данной категории респондентов. Не имея представления о генеральной совокупности, откуда мы узнаем, что не произошел перекос выборки в сторону тех или иных дисциплин, институтов или регионов страны?

Но самый главный вопрос, на который у нас нет ответа, — это зачем вообще нужен подобный опрос? Какие сведения желают получить его авторы? Если их интересуют точки зрения ученых об оптимальных вариантах проведения реформы РАН, то данный опрос здесь ничем не поможет. Такие суждения можно получить либо с помощью продолжительных интервью, в ходе которых опрашиваемый может в свободной форме изложить свои представления о необходимых изменениях в организации российской науки, либо путем изучения предложений, уже опубликованных в научной литературе, а также в прессе и Интернете. Если же они желают узнать, как ученые оценивают конкретные элементы реформы, то необходимо проводить опрос по репрезентативной выборке. 

Борис Винер,
канд. соц. наук, с.н.с. Социологического института РАН

Мария Мацкевич,
канд. соц. наук, с.н.с. Социологического института РАН