Дмитрий Рогозин: «Когда вскрываются факты того, как реально проходит опрос, у многих исследователей опускаются руки»

Результаты социологических опросов играют огромную роль в общественной жизни. На их основе принимаются важнейшие политические решения. Но насколько достоверны их данные? Об этом Ольга Орлова беседует с автором книги «Насколько разумна наша вера в бумажные опросы?», заведующим лабораторией Института социального анализа и прогнозирования Российской академии народного хозяйства и государственной службы Дмитрием Рогозиным.

— Недавно у Вас с Вашей коллегой Анной Ипатовой вышла книга с провокационным названием «Насколько разумна наша вера в бумажные опросы?». Что заставило Вас написать эту книгу?

— Мы к ней шли очень давно. И там большой коллектив авторов-исследователей. Мы так часто сталкиваемся с подделками или поделками в рамках опросных технологий! Ведь когда проводим опросы, мы редко смотрим на то, что же там происходит реально «в поле». Обычно социальные аналитики ограничиваются цифрами. И однажды мы решили все-таки добраться до тех самых полей и сделали такой небольшой экспериментальный план. Двое моих коллег устроились работать интервьюерами в один из крупнейших опросных социологических центров. Когда они стали там работать, столкнулись с такой массой удивительных историй, которые их сопровождали, что, в общем-то, мы очень сильно начали сомневаться в том, какие же данные получаем. Всё началось с того, что супервайзер, — это тот человек, который выдает задания интервьюерам, — сразу же очень «по-доброму, по-матерински» отнеслась к нашим девчонкам, сказав: «Ну, я же не цербер какой, если не сможете кого—то опросить, опросите друг друга. Или сходите к соседям, если у вас сосед подходящего возраста». И так далее. Потом, естественно, у девчонок были какие-то разговоры с другими интервьюерами, которые тоже делились своим опытом о прохождении этих интервью. Ругались на несчастных социологов, составляющих такие анкеты, которые не по зубам даже маститым академикам, — что уж говорить о нормальных людях, у которых жарится на сковороде картошка или еще что-то, а тут им нужно разговаривать о большой политике в течение 3–4 часов! Действительно, зачастую полная анкета занимает очень-очень много времени. И, в общем-то, весьма странно предполагать, что человек готов на нее тратить вот это самое время. Кроме того, интервьюерам, как правило, платят очень и очень мало. И получается, что над ними висит огромный план, их расспрашивают и оценивают по полностью взятым анкетам, а не по тому, с кем они поговорили. Соответственно, это всё подталкивает к тем или иным фабрикациям в опросах.

— И к чему это в результате приводит?

— Это приводит к тому, что, по нашим оценкам, где-то около 40–50% всех анкет фабрикуется интервьюерами в той или иной степени. Правда, здесь мы не уникальны. Можно было бы сразу закидать тухлыми яйцами и гнилыми помидорами наши опросные центры и начать кричать, что они что-то делают не так. Но это происходит во всем мире: когда всерьез начинают говорить об опросах, всегда говорят об ошибках опросов. То есть опрос — это всегда работа над ошибками. И в этом смысле нет такого разговора о том, что опрос сделан хорошо или плохо. Опрос всегда сделан плохо. Нам нужно оценить кривизну полученных данных, и после этого мы можем как-то делать выводы о том, доверять этим цифрам или нет.

Как правило, наши исследователи ограничиваются так называемой статистической случайной ошибкой выборки. Наверняка и вы слышали: 3,5%, 2,5% и т. д. Этот расчет вообще ни о чем не говорит, поскольку он делается для действительно случайных выборок, а подавляющее большинство выборок неслучайны, и просто некорректно приводить эти цифры. Реальные смещения, реальные ошибки, выдаваемые интервьюерами, о которых я говорю, — они гораздо больше: 20–40%.

Представьте, мы заявляем: президента поддерживают 85% населения. А потом добавляем: плюс-минус 40%. И что? То есть это сказать ни о чем.

— Неужели возможна погрешность в 40%?! Откуда же она берется?

— Все ошибки, как правило, разделяются на два типа. Один тип — это ошибки репрезентации, т. е. то, как мы построили выборку. Действительно ли мы поговорили с теми людьми, которые представляют население? Когда мы говорим о репрезентации населения России, есть один очень жесткий критерий: каждый гражданин, имеющий паспорт России, должен иметь равные шансы попасть в нашу выборку.

— А на самом деле это не так? Мы имеем не равные шансы?

— В действительности он имеет не равные шансы. Но и это не самое страшное. Мы должны знать те шансы, которые он имеет, чтобы попасть в выборку. Тогда мы можем пересчитать это на население и получить тот или иной процент. Но, к сожалению, здесь возникает целый ряд ошибок репрезентации. Первая ошибка — это ошибка покрытия. Что это такое? Очень часто мы делаем выборку не на всем населении — мы же не выстраиваем людей в очередь! Мы должны как-то подобраться к ним. Есть выборки населенческие, которые проходят по месту жительства. Из этой выборки сразу выпадают люди, которые находятся в местах лишения свободы, в отпуске, в командировке и т. д. Но, что самое неприятное, выпадают и те люди, которые заняты. То есть которые находятся сейчас на работе, которые не расположены разговаривать с интервьюерами. Их довольно много.

Вторая часть выборки — это выборки, связанные с неответами. То есть мало ведь того, чтобы человек был дома, допустим, или у него в кармане находился сотовый мобильный телефон. Надо, чтобы он был расположен с нами разговаривать. И такой коэффициент отказа, как мы его считаем, доходит до 70–80%. То есть мы реально опрашиваем 20–30% от тех, к кому обращаемся. Это очень большой вызов к опросным технологиям. Можно было бы сказать: ну всё, надо закрывать эту лавочку, переходить к чему-то другому. Но, в общем-то, точно такой же процент и в западных европейских странах. Это не говорит о том, что будет ошибка. Это говорит о том, что мы имеем две группы людей. Одна группа с нами хочет разговаривать по нашим опросам. Вторая не желает этого делать. И наша задача как исследователей — оценить, насколько те, кто хочет с нами говорить, отличаются от тех, кто не хочет с нами говорить по тем или иным вопросам.

— В предисловии к Вашей книге сказано: «Даже у лидеров исследовательского рынка обнаружен чрезвычайно низкий уровень корректно заполненных бланков анкет. Фабрикации и фальсификации, заключенные в опросах, отражают особую профессиональную культуру, сложившуюся в России за последние 20 лет» . А какие у Вас основания полагать, что этот непрофессионализм носит сейчас массовый характер? И почему именно в последние 20 лет? Как это объяснить?

— Эх, если бы только массовый! Тогда бы мы имели какие-то элитарные центры, на которые могли показать, что у них всё нормально. Он носит системный характер!

— А есть канонические методические центры, на которые можно было бы ориентироваться?

— В опросных технологиях мы можем ориентироваться только на США и часть европейских государств. Поэтому кризис опросных технологий в нашей ситуации носит даже не масштабный характер, а системный. То есть он у нас заложен уже в сами эти технологии. Проблема в том, что на волне перестройки те наши российские социологи, которые занимались теоретическими методологическими вопросами, очень сильно увлеклись общественной повесткой. И все вдруг стали неожиданно журналистами. Например, Майкл Буровой в личной беседе как-то упомянул: «Я вообще с недоумением смотрел на ведущих российских социологов в 1990-е годы. Мне казалось, что вот оно — время, когда нужно изучать то, что происходит в глубинке, — разговаривать с рабочими, разговаривать с новоявленными предпринимателями, записывать и фиксировать эти факты. И я смотрел на своих коллег, которых чрезвычайно уважаю, — Ядова, Здравомыслова, Шубкина и т. д., а они все писали какие—то журналистские статьи». В этом ничего страшного вроде бы нет. Страшное началось после. Вдруг как-то так сформировалось (опять же, это, наверное, не вдруг), что полевая работа, работа интервьюера, разговор с человеком (это на самом деле является наиболее важным, фундаментальным фактом всей опросной технологии) стал восприниматься не как социология, не как наука, а как техническая работа. То есть эту техническую работу может делать кто угодно. Для этого не нужна ни квалификация, ни опыт работы. Не нужно даже желание работы. И вот эта ситуация по большей части продолжается по сей день. Очень часто, приходя в опросные центры, начиная разговор о методологии (а можно много разговаривать о так называемой спроектированной выборке, об анкете, о том, что нормативно должно быть сделано), достаточно задать вопрос о том, а как же на самом деле это сделано, чтобы вдруг обнаружить, что никто не понимает, как это сделано. Никто и не хочет понимать, потому что, как только вскрываются факты того, как реально проходит опрос, у многих исследователей просто опускаются руки. Если у нас, допустим, 40% анкет заполнили сами интервьюеры, которые никуда не ходили, мы должны об этом знать.

— То есть сами исследователи, которые получают на обработку эти данные, не знают, как они были получены?

— В этом и трагедия! Для них это черный ящик. Тем самым они перечеркивают любую научную деятельность. Как может происходить осмысление этой реальности, когда реальности нет?! Реальность — это только та цифирь, которую они пытаются анализировать. Именно это привело к тому, что у нас возник такой очень странный квазиязык — разговор об опросных данных, который на самом деле часто атрибутирует к опросным центрам, а не к технологии. Наверное, у всех на слуху: «Левада-Центр показал такие-то данные», «ВЦИОМ показал», «ФОМ показал». И если, допустим, происходит какой-то сбой в прогнозе, например на московских выборах (совсем недавно было очень много сбоев прогнозов в предвыборных кампаниях), то сразу же идет обвинение к организациям как таковым. Как будто организация являет собой того Левиафана, выплевывающего эти цифры: 70%, 60%. Опросная технология — это очень большое производство. Это конвейер. Нам нужно доходить до конца.

Здесь эта ситуация с опросными технологиями, как это ни странно, похожа на ситуацию, которая описывается коррупционными отношениями. То есть да, поскольку здесь мы имеем какую систему взаимодействий, мы имеем нормативные отношения. То есть мы знаем, как надо проводить и т. д. И каждый из нас знает, как надо на самом деле, но об этом молчит. Если мы встречаемся на внутренних тусовках с полстерами (это те, кто проводят опросы общественного мнения), то очень часто за прямыми вопросами о том, что происходит, следуют улыбки: «Ну, мы—то знаем, как на самом деле это происходит. Что об этом говорить? Об этом не надо говорить».

— Получается такое внутрикорпоративное знание, которое не выносится наружу, потому что вы не понимаете, как это изменить?

— Да ладно бы наружу не выносится! Оно и вовнутрь не выносится. Оно остается таким комплексом неполноценности для каждого исследователя, потому что он знает, что мало на что может повлиять. Очень часто это принимается как данность, как то, что так и должно быть.

— Превращается в профессиональную норму?

— Да, сформировалась профессиональная норма: если я составляю вопросы, то, в общем-то, ничего не должен знать о выборке. А это две связные вещи. Если я не понимаю, как работает выборка, я не могу брать интервью. Иначе что может меня сподвигнуть, допустим, звонить в эту квартиру, а не звонить в ту квартиру? Если я не понимаю, как строится выборка, по каким правилам она строится, никто мне не запретит поговорить с этим человеком. Поэтому здесь и возникает вот эта ситуация многомерных социологий. Ведь самый-самый правильный социолог-интерпретатор — это сам интервьюер. Он делает социологию в этом поле. Но только он ее делает на свой вкус, который абсолютно не согласуется не только с мировой тенденцией, а даже с нормами здравого смысла в научной традиции.

— А верно ли, что такие корневые методические нарушения не зависят от темы опроса? Не важно, будут ли это маркетинговые исследования, связанные с товарами, экономикой или с политикой, ведь проблема не в этом, не в том, про что мы пытаемся узнать, а проблема в том, как мы пытаемся получить это знание, правильно?

— Верно, но с одной поправочкой. Она связана с тем, что на некоторые вопросы это не влияет, а на некоторые влияет очень сильно. Например, недавно мы ездили в Вязники. Там было опрошено 900 респондентов. Мы из них почти 500 обошли второй раз, разговаривая с людьми или выясняя, действительно ли доходили до них опрашивающие. Таким образом, у нас появилась уникальная база данных: мы точно знали, что эти анкеты сфабрикованы, а эти не сфабрикованы. И могли сравнить результаты ответов на конкретные вопросы. Так вот, мы обнаружили, что на значимые для нас вопросы (это были вопросы, связанные с внутренней миграцией) сфабрикованные и несфабрикованные ответы совпадали. Это значит, на них не влияет, что именно мы спрашиваем. А на что влияет? Влияет — на те вопросы, которые интервьюер не может помыслить. То есть он не знает их реальных распределений. Допустим, вопрос о загранпаспорте, о поездках за границу, вопросы, связанные с учебой детей в зависимости от стран.

И поэтому, может быть, полстеры и подстраховываются, когда анализируют только линейные распределения. Линейные распределения — это ответы на конкретные вопросы: «Как вы в целом относитесь к Путину? Хорошо, плохо или безразлично?» Ответили — и дальше не идут вглубь: кто отвечает, рабочий, журналист и т. д. Почему они не думают? Потому что как только мы пойдем вглубь, то сразу там ошибки будут очень большие. А в целом на этот вопрос мы ошибки даем уже не очень большие, даже если эти ответы сфабрикованы.

— Одним из очень серьезных моментов, который вызвал серьезную профессиональную дискуссию, были результаты опроса о поддержке Крыма российскими гражданами. Когда результаты были обнародованы, в Интернете мгновенно родился мем про «86% россиян», а в профессиональной среде раздались резкие критические отклики. Что так обеспокоило ученых?

— Да, многие мои коллеги начали буквально скандировать, что социологи после такого опроса никогда не отмоются, что они полностью подстроились под власть, забыли не то что о своей протестной активности и профессиональной этике, а даже о гражданской этике и так далее. Ведь всем известно, что социология в большей степени — это левая наука. Марксизм для нее является одним из столпов. И критическая позиция — это позиция социолога. Так вот, после этого я и мои коллеги, которые не участвовали в организации этого опроса, просто запросили данные в ФОМе и в ВЦИОМе о том, как проводился опрос. И вот здесь мы получили совершенно удивительные факты, поскольку этот опрос проводился на современных технологиях. И мы имели все эти самые параданные, которые позволяли нам провести довольно доскональный, глубокий анализ того, что происходило там. Время опроса — даже не самого опроса, а время, которое прошло от постановки задачи; т. е. возникли некоторые люди, которые сказали: нам нужно это знать, давайте это измерять, — до подачи этим людям линейных распределений (это тех самых ответов на вопросы) прошло три дня. А теперь давайте подумаем. Это общероссийский опрос, в котором опрошено более 50 000. За три дня! Когда я говорил это американским коллегам, они просто пожимали плечами: «Это невозможно». Это действительно практически невозможно. Здесь мы увидели, как возможно мобилизовать опросный рынок, поскольку здесь основными игроками были ФОМ и ВЦИОМ, но, в общем-то, участвовали десятки опросных центров по всем регионам России. И это было сделано просто в фантастические сроки. Как правило, маркетологи ухмыляются на неспешность социологов, опросных технологий, говоря, что в маркетинге есть бизнес-заказчик, мы должны делать всё быстро. Но ни один из маркетологов никогда бы не взялся за такую работу. Никто бы не взялся за работу, в которой от постановки задачи до результата три дня.

— А разве это не говорит о том, что результат был сфабрикован?

— Да, первая мысль, которая приходит в голову: наверное, они всё это «нарисовали», 50 000. Но у нас к этим 50 000 есть не только 50 000 аудиозаписей, у нас есть аудиозаписи по всем отказам. А это, как я уже говорил, превышает почти в 8 раз эту выборку. То есть у нас есть огромнейший массив записей. И вот когда мы начали делать выборку из записей, прослушивать, анализировать, насколько корректны ответы и т. д., было обнаружено, что, в общем-то, поддержка Крыма, измерение этой поддержки сделано вполне адекватно. И единственное, что мы увидели, — эта цифра просто шокировала интеллигенцию. Они не ожидали, что действительно такого рода массовая поддержка возможна.

Удивительное другое: как только были опубликованы эти данные, показывающие, что, в общем-то, никаких подлогов не было и, более того, технология применена вполне корректно, никто не признал своей ошибки, просто переключились на другие аргументы, начали искать другие поводы для того, чтобы обвинять тот или иной опросный центр. Это как раз показывает, что, к сожалению, в отличие от естественных наук, наша наука опросных технологий находится в публичном дискурсе. Мы постоянно находимся ладно бы под атакой сторонних людей, но под атакой самих себя. Потому что очень часто тяжело отделить себя, свою позицию как гражданина от своей позиции как исследователя в этом вопросе. И это чрезвычайно мешает. Поскольку можно не соглашаться с распределениями о том, кто голосует за Крым, а кто голосует против, но, в общем-то, нельзя делать из этого черный ящик и не смотреть, как люди об этом говорят.

— Приведите пример самого грубого методического нарушения в опросе, с которым Вы сталкивались?

— Каноническим примером являются такие формулировки: «Скажите, пожалуйста, как вы оцениваете ту или иную программу и перспективы ее закрытия:

а) она сделана хорошо;
б) она сделана хорошо, но можно было бы подумать получше;
в) в мире много хороших программ».

Такие попытки сделать оценочное исследование, в котором нет возможности ответить отрицательно, сплошь и рядом встречаются, в том числе в профессиональном сообществе, но в большей степени в государственных структурах, которые пытаются внедрять опросные технологии в свою повседневную жизнь.

— А какой Вы встречали самый странный непрофессиональный пример трактовки, интерпретации социологических данных?

— Лидер непрофессиональной трактовки данных у нас в России — это опять одна из государственных служб, это Федеральная антимонопольная служба. Поскольку они курируют закон о рекламе, в котором прописано, что нужно знать общественное мнение по тому или иному вопросу, они проводят опросы на веб-сайтах. Вывешивают вопрос, не очень заботясь, кто может на него ответить. Может один человек отвечать 10 раз, а может 20. Но поскольку интереса к этому нет, обычно там отвечают 20-30, максимум 100 человек на тот или иной вопрос.