В январе 2018 года сотрудниками Центра институционального анализа науки и образования Европейского университета в Санкт-Петербурге был подготовлен отчет с результатами анализа открытых данных о контрольно-надзорной деятельности в высшем образовании1. ТрВ-Наука публикует в сокращенном виде те результаты, которые касались работы экспертов, участвующих в проверках вузов.
Рособрнадзор — это ведомство, в котором отдел по контролю за высшей школой насчитывает не больше пятидесяти человек. Без экспертов из вузовской среды чиновники были бы не в состоянии проводить сотни проверок в год. Согласно реестрам, Рособрнадзор может обратиться к 2647 экспертам.1
Кого мы ожидаем увидеть на месте эксперта? Во-первых, экспертов, представляющих ведущие университеты, а значит, знакомых с «лучшими практиками» российской системы высшего образования. Во-вторых, логично, чтобы эксперт был вовлечен в основную деятельность университета — преподавание и научные исследования — и демонстрировать состоятельность в ней. Наконец, эксперт не должен быть замечен в этически сомнительных практиках. Можно ли экспертов Рособрнадзора назвать экспертами согласно этим критериям?
Мы изучили список из почти 800 экспертов, аккредитованных участвовать в мероприятиях по контролю и надзору. Большая часть этих людей работает в вузах. Нельзя сказать, что в списке заметно представлены сильные вузы: только 11% экспертов работают в сильных вузах. Из 45 ведущих вузов только 21 представлен хотя бы одним экспертом, и всего три вуза берут на себя половину всех экспертов из сильных вузов. Более того, в списке можно встретить преподавателей, которые работают в неэффективных вузах. По данным мониторинга эффективности, 15% экспертов представляют вузы, которые в 2015 году не получили статус эффективных. Сравнивая различные показатели мониторинга, можно сделать вывод, что в своем большинстве эксперты работают в вузах, которые и не самые хорошие, и не самые плохие. Другими словами, вуз эксперта не отличается от среднего российского вуза. Однако показатели вузов экспертов сильно отличаются от показателей ведущих вузов. Особенно низкие показатели у вузов экспертов по публикациям в базе Scopus — аккредитованные эксперты пришли в основном из тех вузов, которые либо не знают, что такое международная наука, либо не умеют или не имеют времени публиковаться.
Считается, что эксперты — это представители университетской среды, которые сами занимаются преподаванием и исследованиями, поэтому смогут оценить обстановку в конкретном вузе. Однако эксперты, чья деятельность связана в первую очередь с преподаванием, а не руководством и подготовкой документации, встречаются нечасто. Мы обнаружили, что 75% занимают руководящую должность, из подразделений вуза заметно представлен учебно-методический отдел — 35% экспертов в своих вузах занимаются учебно-методической деятельностью. Поскольку проверки Рособрнадзора сосредоточены на документарной реальности, вузы наладили ее эффективное производство: где-то работают целые отделы по созданию такой документации. По всей видимости, представители методических отделов приезжают проверять, насколько хорошо выстроена бумажная реальность в других вузах, а не разобраться в сути дела.
Мы не имели ресурсов проверить на добросовестность всех экспертов Рособрнадзора, но нашли достаточно примеров, чтобы начать серьезно сомневаться в способности ведомства проводить качественный отбор. Эксперты встречаются в базе «Диссернета»: 13% экспертов (от числа защищенных экспертов) в роли диссертанта, руководителя или оппонента. Эта цифра — результат относительно случайного попадания эксперта в поле зрения «Диссернета», поскольку «Диссернет» никогда не ставил своей специальной задачей проверку экспертов2. У 31% экспертов в диссертациях были найдены заимствования. Осознавая значимость морального облика, Рособрнадзор призывает экспертов следовать этическому кодексу. Однако служба никак не ограждает от участия в экспертизе тех, кто уже замечен в нарушении норм, имеющих прямое отношение к научной и образовательной деятельности. За их подписью можно встретить отрицательные заключения, способные парализовать деятельность таких университетов, как Шанинка (эксперт Никонова Светлана Александровна3).
Более того, эксперты, замеченные в нарушении академической этики, не только продолжают проверять вузы, но еще и являются ударниками, задействованными в десятках проверок за год. Среди самых активных экспертов числятся М. Заостровцева и Л. Соломина. Ранее они работали в частном вузе — Столичной финансово-гуманитарной академии. В 2016 году академия была признана неэффективной, в 2017 году вуз не принимал участия в мониторинге — ожидались проверки из Рособрнадзора. Об этих экспертах практически отсутствует информация как о преподавателях и ученых, за исключением руководящих должностей по учебной работе и защищенных диссертаций. При этом диссертации полны массовыми заимствованиями текста. Данные «Диссернета» показывают, что диссертация Л. А. Соломиной на соискание степени кандидата педагогических наук содержит массу некорректных заимствований, прежде всего из кандидатской диссертации М. Заостровцевой. Однако в диссертации самой Заостровцевой, судя по данным того же «Диссернета», процент некорректных заимствований тоже очень высок.
Изучив публикации экспертов, мы можем увидеть среди них отчетливое стремление нарастить количество публикаций относительно легким и простым способом, минуя стандартные процедуры в научных журналах высокого качества. Среди экспертов в два раза больше тех, у кого появилось пять и более публикаций в не индексируемых РИНЦем изданиях, — 20% экспертов против 10% преподавателей-неэкспертов. Мы встречаем и «мусорный» Scopus, и статьи с соавторством, вызывающие подозрения, и цитатные картели. Достаточно уделить пять минут изучению профиля4 эксперта Никоновой, прославившейся заключением по Шанинке: из ее 22 статей только три опубликованы в ядре РИНЦ; половина ее ссылок — это ссылки от соавторов; встречаются публикации в сомнительных журналах, в том числе в Mediterranean Journal of Social Sciences. Среди экспертов больше людей, которые в среднем публикуются много, но мало в лучших журналах, тогда как среди неэкспертов больше людей с меньшим количеством публикаций, но в более качественных журналах. Вполне вероятно, что такой паттерн публикаций — наращивание количества в ущерб качеству — свойственен управленцам российских вузов, которые, делая административную карьеру, тем не менее считают необходимым создавать видимость научной работы (75% экспертов занимают руководящую должность в университете).
Экспертов выдают за лучших представителей университетской среды, хотя по своим характеристикам они гораздо хуже среднего российского преподавателя. Среди экспертов мы обнаруживаем значительную долю профессиональных имитаторов академической деятельности, которые и в отношении собственных научных достижений проявляют крайнюю нещепетильность. Именно эти люди энергичнее других вовлекаются в работу по созданию видимости соответствия вуза пожеланиям министерства. Ведомству приходится выбирать среди тех, кто сам вызвался стать экспертом Рособрнадзора — для этого нужно самому написать заявление и затем пройти экзамен на знание законодательства. Обычно нет никакого жесткого отбора — по данным службы, в 2016 году проведено 11 квалификационных экзаменов, по результатам которых в качестве экспертов аттестовано 138 человек, отказано в аттестации всего 20 претендентам. Отсутствие жесткого отбора во многом приводит к тем результатам, которые мы увидели. Если бы он был, то среди экспертов не значилась бы в прошлом Ульянова Марина Владимировна, автор периодической системы Общих законов управления и биоадекватной методики преподавания, сопредседатель регионального отделения «Ноосферного образования» РАЕН, ректор Института холодинамики («холодинамика» — от английского whole, т. е. «цельный»).
Если Рособрнадзор почти никому не отказывает, это означает, что существует отрицательный самоотбор — в эксперты просятся специалисты по документации, представляющие не самые сильные вузы, большие профессионалы в том, как имитировать науку. У них может быть и собственный интерес, но важнее, что для этого есть и серьезные институциональные причины. Наши интервью показывают, что вузы заводят собственные команды экспертов, которые должны стать внутренним Рособрнадзором, тренирующим университет проходить настоящие проверки. В первую очередь в этом видят выход вузы, которые сами попадают под прицел Рособрнадзора. В списке экспертов «перепредставлены» небольшие частные вузы — в них работает 132 эксперта (19%), тогда как только 6,7% всех преподавателей, по данным 2014 года, работало в частных вузах. Из всех частных вузов больше остальных заметен Евразийский открытый институт, в котором работают сразу шесть экспертов Рособрнадзора (причем количество штатных преподавателей в Евразийском открытом институте составляет всего 39 человек).
Деятельность Рособрнадзора способствовала формированию устойчивой профессиональной группы, готовой к сотрудничеству в контроле и надзоре. Преподаватели, которые не питают сильного желания вместо преподавания и исследований заниматься бессмысленной бумажной работой, не рвутся попасть в список экспертов. Из этого следует, что требуется не просто изменить способ отбора экспертов, а поменять всю систему контроля, если не полностью отменить ее.
Катерина Губа, Александра Макеева,
Михаил Соколов, Анжелика Цивинская
2 rosvuz.dissernet.org/vuz/131136
Честно говоря, этот «отчет» скорее демонстрирует методическую безграмотность его авторов. И это печально, потому что Рособрнадзор действительно производит крайне отталкивающее впечатление и корректное заключение было бы кстати
Можно расшифровать, в чем методическая безграмотность?
Можно. Использование таких терминов как «мусорный Scopus» и «сомнительные журналы» без четких определений этих терминов возможно допустимо для заметки в газете «Вечерний гопник», но неприемлемо для серьезного аналитического текста. Подобные вещи полностью обесценивают выводы авторов и вызывают сомнение в том, имеют ли сами авторы отношение к науке (если «да», почему они позволяют себе в отчете то что недопустимо в научной публикации)
«Мусорный» Scopus — очевидно, имеются в виду журналы, массово исключенные оттуда в последние годы. В частности, Mediterranean Journal of Social Sciences был исключен в конце 2015 года. Что такие формулировки полностью обесценивают — это вы загнули. Кстати, в самом аналитическом отчете (по ссылке [1] ) этих фраз и нет.
Зато там есть «сомнительные вузы» что не лучше. При этом показывая, что оценка Рособрнадзора «сомнительна» авторы делают это используя результаты той самой оценки
Нет, мониторинг эффективности вузов, проводимый Минобрнауки, и проверки Рособрнадзора — это две разные вещи. В отчете об этом говорится подробнее.
«В настоящее время основными инструментами являются ежегодный мониторинг эффективности
образовательных организаций и точечные проверки, осуществляемые Рособрнадзором. «
Ну, я и говорю: «ежегодный мониторинг эффективности образовательных организаций» — это одно, а «точечные проверки, осуществляемые Рособрнадзором» — это другое. Два разных инструмента.
А эксперты и критерии тоже разные?
Да.
Это извечный вопрос, почему некие учреждения работают плохо — потому что там засели плохие люди или потому что они выполняют плохие инструкции (правила, законы, приказы)? В данном случае сделана попытка изучить людей, а инструкции остались внутри черного ящика. И не исключено, что даже полная замена экспертов принципиально не изменит ситуацию. Можно, конечно, возразить, что хорошие люди не станут выполнять плохие инструкции, а будут бороться или уйдут с гордо поднятой головой, но ведь это не всегда так бывает. И хорошему человеку можно заморочить голову (или он сам себе заморочит): дескать, кто-то же должен этим заниматься, так лучше я, чем кто-то другой, и вообще, так нужно на благо Родины и т.д. и т.п.
Процитирую фрагменты Заключения экспертов, точнее некоторые критерии оценки программ «менеджмент» бакалавриата и магистратуры: «Доля работников из числа организаций, деятельность которых связана с направленностью (профилем) реализуемой программы бакалавриата … 10 процентов». «Среднегодовое число публикаций … в расчете на 100 научно-педагогических работников составляет не менее 2 в журналах … Web of Science или Scopus или не менее 20 в журналах, индексируемых в Российском индексе научного цитирования» [показатели скорее всего за год].
Само заключение размещено здесь: http://www.obrnadzor.gov.ru/common/upload/doc_list/Zakluchenie_oano_vo_Moskovskaya_vysshaya_shkola_sotsialnykh_i_ekonomicheskikh_nauk.pdf
При столь низких показателях в приличном ВУЗе как минимум увольняют зав.кафедрой или чаще просто разгоняют кафедру путем ее реорганизации. Повторюсь, что в среднем лишь 1 из 10 преподавателей представляет собой отрасль преподаваемых программ, лишь 1 из 50 преподавателей опубликовался в Scopus (и это при наличии в качестве партнера приличного университета из Великобритании), только каждый пятый преподаватель имеет публикации в РИНЦ. Это, мягко говоря, не соответствует показателям ведущего вуза, к которым стали причислять Шанинку.
Прошу НЕ считать этот пост защитой Рособрнадзора. Как минимум странно, что руководство этого ведомства в своих комментариях в прессе не упирает на столь очевидные показатели из своего же Заключения. Т.е. они сами-то знают критерии эффективности ВУЗов и читаю ли свои результаты проверок, почему просто отделываются общими фразами типа «линейка перестала устраивать» и не оппонируют серьезными фактами.
Много моих знакомых прошло через такие проверки и разгон кафедр из-за низкой публикационной активности, и ни кто не поднимал в прессе вопрос об их печальной судьбе.
Нет, Светлана, вы не поняли заключение. Фраза «Среднегодовое число публикаций научно-педагогических работников организации за период реализации программы магистратуры в расчете на 100 научно-педагогических работников (в приведенных к целочисленным значениям ставок) должно составлять не менее 2 в журналах,
индексируемых в базах данных Web of Science или Scopus, и не менее 20 в журналах, индексируемых в
Российском индексе научного цитирования» — это дословное цитирование из ФГОС по соответствующей специальности для магистратуры. И по этому пункту замечаний нет. Замечания только по тем пунктам, где в конце абзаца выделено жирным шрифтом, какой пункт ФГОС нарушается.
Вообще, это заключение и общая ситуация поднимает много вопросов.
Во-первых, большинство замечаний связано с тем, что в программы не вписаны нужные компетенции. Да, дело это муторное, но вся страна этим занимается уже несколько лет. Вполне реально было сделать все. А они считали, что им ФГОС не писан, они выше этого?
Хотя я бы лично эти компетенции вообще отменил. Даже если в них изначально был какой-то смысл, он давно потерялся по дороге, это приобрело чисто ритуальный характер.
Несоответствие квалификационным требованиям к заведующим кафедрам, преподаватели не с той специальностью — ну, может быть, конкретно в Шанинке работают какие-то самородки и самоучки, но в целом по стране это допускать было бы нехорошо. Тут надо думать.
То есть бороться надо не столько с Рособрнадзором, а с ФГОСами, причем давно, но раньше всем как-то было все равно. И нужно ли ругать конкретно эксперта Никонову? Ну, допустим, она плохой человек. А была бы хороший — должна была солгать, что нарушений нет, когда они реально есть, ради великой и прекрасной Шанинки? Серьезно?
ФГОСы приняты уже несколько лет. Рособнадзор закрыл более тысячи вузов, пострадали сотни тысяч людей, преподавателей и студентов. Где была Шанинка и Европейский университет? Выступали в защиту пострадавших, боролись, собирали подписи, хотя бы пытались разобраться, что к чему? Нет, считали себя выше общих правил, думали, что их это не коснется. А если что, надеялись на популярность, знакомства и связи. Так оно и вышло, теперь все за них в очередь выстроились подписываться.
Вот такая складывается картина. Хотя может быть я чего-то не знаю и не понимаю, тогда призываю более сведущих, поправьте.
Вы как-то странно читаете текст. В цитируемом фрагменте сказано «не менее 2» т.е. их могло быть 5,10,50,100. Вы считаете что это мало?
Попробуем разобраться о публикационной активности Шанинки глубже, использовав следующие ресурсы:
http://indicators.miccedu.ru/monitoring/_vpo/inst.php?id=1967
https://elibrary.ru/org_profile.asp?id=425
Минобр дает штатников 31 преподавателей и 13 научных сотрудников (показатели V 22 и 23). Сайт самой Шанинки содержит чуть меньше 200 фамилий. Т.е. имеем 44 штатника, плюс порядка 150 внешних совместителей и почасовиков. Как минимум с соотношением штатники — совместители 1:3 у любой кафедры возникнут проблемы в ходе проверки.
РИНЦ за 2017 год показывает 49 статей WoS&Scopus и 72 статьи ВАК (включая 49 статей), что выглядит очень неплохо в расчете только на штатников. Однако из 72 публикаций лишь 32% стоит с аффилиацией автора только Шанинка, 40% с двойной аффилиацией Шанинка + РАНХиГС (скорее всего внешние совместители), 16% вообще не указана Шанинка как аффилиация и 13% указаны аффилиация Шанинки и другие вузы. Боюсь что если посчитать статьи только штатников Шанинки, то с публикационной активностью получится так себе, как раз для разгона кафедры.
Статей по экономике или менеджменту в журналах WoS, & Scopus, & Ядра РИНЦ НОЛЬ (!), в ваковских журналах всего 4.
Среди прочего: доля остепененных ППС 61%, остепененных НС 55%, доля иностранных студентов 2% — МАЛОВАТО. Хорошие показатели: средний балл ЕГЭ 80, магистрантов 72%, доходы от НИР на 1 НПР 282 тыс.р, внебюджетки 88% и всего 12% гос.финансирования.
Еще раз повторю, что с такими показателями штатники-внешние и публикационной активности типичная кафедра типичного приличного вуза подлежит разгону, а магистерская программа с таким количеством публикаций по профилю программы — закрытию. Просто у многих попавших под раздачу преподавателей типичных вузов нет возможности столь активно защищать свою позицию в ведущих СМИ. «Линейка Рособрнадзора» была использована стандартная, просто язык Заключения казуистический и не всегда прямо отражает все измеряемые факторы.
Повторюсь, я не являюсь пламенной сторонницей Рособрнадзора и попадала в ситуацию разгона кафедры по результатам проверки, без возможности поднять такую волну в СМИ.
OK. Оставим в стороне вопрос о том, откуда берутся пороги разделяющие «маловато» и «нормально» и почему публикационная активность должна быть критерием оценки образовательной деятельности. Простой вопрос: все ли государственные ВУЗы у которых показатели такие или хуже были лишены аккредитации?
Напомню про длинный перечень присоединенных вузов, с почти поголовным разгоном преподавателей таких вузов: МАТИ, МИЭМ, РГТУ, МЭСИ, АБИК, … долго можно продолжать. Сколько региональных вузов было присоединено к РАНХиГС или к РЭУ Плеханова на правах филиалов и сколько филиалов было потом оптимизировано. Сколько было объединено региональных вузов в национальные исследовательские или опорные университеты. Хотя Васильева О.Ю. этот процесс остановила. Средний срок «жизни» (нахождения на должности) ректора, проректора, зав.кафедрой в таких малоэффективных вузах как Государственный университет управления на Выхино или Российский государственный гуманитарный университет хорошо если два года.
Вопрос был не об этом. Вопрос был о том, все ли ВУЗы не проходящие проверку по этим критериям были лишены аккредитации т.е. последователен ли Рособрнадзор в правоприменительной практике?
Насколько я понял, если Минобрнауки признает какой-то государственный вуз неэффективным, оно при желании может разогнать его или присоединить куда-то само, без помощи Рособрнадзора. А если вуз частный, то только с помощью Рособорнадзора. Минобрнауки оценивает вузы по индикаторам, а Рособрнадзор — по стандартам ФГОС. Это критерии зависимые, но не одинаковые.
Исходя из своего опыта кратко сравню проверки в рамках зарубежной аккредитации программ и проверки Рособрнадзора. Зарубежную аккредитацию за 20 лет преподавательской деятельности проходил 8 раз: для European Council of Education, в рамках партнерства с проф.сертификациями, сотрудничества с немецкими и британскими вузами (собирал документы для контролирующих органов тех стран).
Эксперты из Европы просили не только правоустановку, учебные планы и рабочие программы дисциплин, не только осматривали шкафы с курсовиками и дипломами (типичные требования Рособрнадзора).
Европейцы приходили на несколько занятий на каждый курс каждой программы, беседовали с после занятий с отдельными приглянувшимися им студентами. С каждым преподавателем программы беседа длилась минут по 10-20, и хорошо если костяк преподавателей был с очень хорошим английским и совместителей из международных компаний. Спрашивали преподавательский и практический бэк каждого, почему используются те или иные учебники и элементы текущего контроля, как студенты читают научные статьи и пишут по ним эссе. Проверяли как организован прием экзаменов, смотрели на сколько сложна структура билетов и какова дифференциация оценок (curve grade), как мы храним заполненные билеты и видеозаписи из аудитории о проведении экзаменов. На выборку по отдельным группам и дисциплинам просили повторить экзамен по нашим билетам. Спрашивали результаты сдачи экзаменов в независимых экзаменационных центрах или с приглашением независимых экзаменаторов. Просили заполнить их обширные таблички по трудоустройству выпускников, на выборку просили организовать встречи с представителями наиболее знаковых работодателей. И это только упрощенная вершина айсберга очных контактов.
Наши проверялки из Рособрнадзора по сравнению с европейцами просто зайки: покопались в макулатуре, мельком заглянули в аудитории, посмотрели на сидящих на кафедре и ждущих эшафота преподавателей, обстоятельно побеседовали несколько раз с руководством кафедры. Ну не наняла Шанинка несколько сборщиков макулатуры, не подготовилась должным образом к документальной проверке. Вот интересно если бы у них как и у других российских вузов проверка Рособрнадзора была как у европейцев, сколько бы тогда интересного мы бы узнали об уровне нашего образования.
Но европейцы наверное не требовали и не проверяли «компетенции», у них нет этой ерунды?
«Компетенции» европейцы точно не требовали. Они также не вполне понимали, зачем мы пишем РПД по стандартным дисциплинам объемом по несколько десятков страниц, переписывая туда из наших же учебников содержание дисциплины, список литературы и т.п. В американских и европейских университетах syllabus всего по 2-5 страниц в виде календарно-тематического плана, связки тем с главами основной литературы и принципы стобальной оценки. У нас к тому же макеты РПД Минобр меняет почти каждый год, небольшое изменение часов дисциплины требует переделывания и переутверждения РПД. На относительно крупной кафедре на 35 штатников и 23 совместителя целых два методиста, которые заняты исключительно вычищением документов для Рособрнадзора.
Какая ирония в том, что у нас это называют западной реформой образования.
забыл еще добавить, что у нас целый проректор по вычищению внутренних документов на предмет их соответствия образовательным стандартам и управление в его подчинении со штатом 14 человек методологов
Это отличный подход к делу, только ведь денег стоит, на зарплаты всем.
А кто надзирает за этим трудно выговариваемым «Надзором»? Там что одни святые, «работающие» за так? И на основе какой статьи Конституции он вообще функционирует?
Рособрнадзор в составе Минобрнауки. Эксперты работают платно.
Минобрнауки расформировано на Министерство образования и Министерство науки.
Однако, какое отношение имеют кадры из надзорного органа к «ИНА УКИ» — не понятно.
Точнее — понятно, торговать должностной рентой, поставляя потребителю продукт сомнительного качества, — выгодно, а при подслеповатом надзирателе — ещё и комфортно.
Министерство образования отвечает за начальное и среднее. Новое Министерство науки отвечает и за вузы. А переименованный Рособрнадзор будет надзирать теперь не только над вузами, но и над чисто научными организациями.
Т.е. накопленный педагогический опыт (при разработке ЕГЭ в частности) позволит вправить мозги академикам, чтоб те к Петрикам не ходили? Ну-ну…
Вы не в курсе, как продвигается академическая карьера у турнутых Путиным чиновников?
У меня конкретное предложение. Освободить надзорный орган по контролю в сфере научной деятельности от влияния педагогов, т.к. именно их он и должен контролировать. «Кадры решают всё», а тут «элита» сформирована за время безвременья, т.е. без селекционного отбора (а то, и с отрицательным вектором отбора).
Между образовательной и научной деятельностью есть различия, вроде различий между физкультурой и спортом высоких достижений (там и ворота сдвигают, и палочки эстафетные роняют, и мельдоний керлингистам подсыпают).
Если «Спорт — младший брат войны», то «Наука — эмбрион экономики».