Основными видами научных публикаций являются статьи и диссертации. Как известно, наука движется силами аспирантов и докторантов, а основные результаты диссертационной работы в соответствии с требованиями ВАК должны быть опубликованы в журналах. Однако необходимое количество таких статей в документах ВАК не указано, что является предметом беспокойства соискателей ученых степеней. По слухам, для кандидатской диссертации достаточно двух статьей, для докторской — 12. Однако в сфере российской медицинской науки главной проблемой является не количество, а методологическое качество научных публикаций. Что же делается для повышения этого качества в редколлегиях научных журналов, диссертационных советах и ВАК — структурах, призванных оценивать и контролировать это качество?
Редакции научных журналов
Насколько нам известно, в редакциях научных журналов ничего существенного, что было бы направлено на повышение методологического качества публикаций, не происходит. А что должно было бы происходить?
Во-первых, хорошо бы было внедрить общепринятые в цивилизованном мире единые требования к рукописям, представляемым в биомедицинские журналы, — документ, разработанный и актуализируемый Международным комитетом редакторов медицинских журналов [1]. В этом документе описаны как собственно требования к рукописям, так и другие аспекты процедуры опубликования результатов исследований (этические, редакционные, издательские). Для российских рукописей весьма актуально повышение требований к описанию методологии (дизайна) исследования и статистического анализа данных. Отметим, что изменение требований (хотя бы в неполном виде) нам удалось осуществить в двух журналах по клинической медицине, членами редколлегий которых мы являемся, — в 2004 и 2006 годах. С этим были связаны наши надежды на некоторое улучшение ситуации. Действительно, анализ публикаций одного из этих журналов выявил положительную динамику с 2000 до 2006 года в отношении выполнения и представления результатов статистического анализа данных. Однако по-прежнему только в 17% работ примененные методы адекватны поставленным задачам и имеющимся данным, лишь 15% статей не содержат ошибок в представлении результатов статистического анализа, и в 13% публикаций статистический анализ описан в необходимой степени подробности. За шесть лет имеется положительная динамика по трем из четырех критериев оценки применения в медицинских исследованиях статистического анализа. Однако нельзя забывать, что ошибки в проведении статистического анализа вторичны по отношению к систематическим ошибкам — ошибкам в дизайне и выполнении исследований. Без обеспечения минимально необходимого методологического уровня исследования статистический анализ будет бесполезен, сколь бы хорошо он ни был проведен.
Второй проблемой является несоблюдение редколлегиями собственных требований к рукописям. То обстоятельство, что большинство статей двух упомянутых журналов по-прежнему не соответствует обновленным требованиям к рукописям, означает, что в большинстве случаев редколлегии не производят оценку рукописей на соответствие собственным требованиям, при поступлении статьи она не рассматривается по формальным признакам. Обычной практикой редакционной работы зарубежных журналов в таких случаях является отклонение статьи по формальным признакам без рассмотрения существа исследования, что заставляет авторов строго соблюдать объявленные редакцией требования. В нашей стране это пока невозможно — опустеет «редакционный портфель». Тем не менее, полное игнорирование собственных требований самими редколлегиями безусловно свидетельствует о существовании разных форм конфликта интересов у их членов. При этом направление рукописи рецензентам (из достаточно узкого круга коллег членов редколлегии, одновременно являющихся и авторами данного журнала) ситуацию не спасает — рецензент обычно не владеет (и не заинтересован владеть) информацией о требованиях либо не может (а в большинстве случаев — и не хочет) потребовать их соблюдения от авторов. Естественно, при этом речь не идет о привлечении к рецензированию рукописей независимых специалистов в области клинической эпидемиологии и биостатистики. Опыт нашего активного взаимодействия с редколлегиями (членство в редколлегии) и «выпрашивание» рукописей на рецензию (которая в результате почти всегда оказывается отрицательной) не приводит к переработке статей — они печатаются в исходном либо слегка подретушированном варианте.
Третий фактор — изменение редакционной политики «сверху» — также отсутствует. Перечень научных журналов ВАК (журналы, «рецензируемые ВАК» или «реферируемые ВАК» — как курьезно-ошибочно выражаются некоторые «ученые», не понимающие, о чем идет речь) пересматривается ВАК весьма поверхностно, критерии включения журналов в Перечень не совершенствовались. Как указано на сайте ВАК, «создание специализированного Перечня является мерой временной, вынужденной, необходимой для повышения уровня требовательности при оценке диссертаций. В Перечень включаются те издания, которые, по мнению ВАК, могут выступать в качестве одного из инструментов внешней по отношению к системе государственной аттестации экспертизы диссертационных исследований» [2]. Обоснованные специально проведенным В.П. Леоновым анализом [3] предложения Общества специалистов доказательной медицины (ОСДМ) об исключении из Перечня нескольких журналов было ВАК проигнорировано.
Тем более фактически бесполезно вести речь о систематическом повышении качества российских журналов. То, что в Journal Citation Reports анализируется лишь 5 российских медицинских журналов, руководство российской медицинской науки (РАМН, Минздрав), очевидно, не беспокоит.
Диссертационные советы
В России медицинской наукой занимаются, как правило, люди, не получившие необходимого образования в области организации и проведения научных исследований. По-прежнему в российских вузах студентам и аспирантам практически не преподается клиническая эпидемиология, в ничтожном объеме преподается биостатистика. Возможности самообразования в целом весьма ограничены субъективными факторами. Основной состав диссертационных советов составляют профессора, не имеющие знаний в этих областях. Методологические ошибки, приводящие к неверным выводам, квалифицируются, например, как «статистические огрехи, не влияющие на ценность полученных автором результатов», а анализ данных рассматривается как украшение диссертации: «работа прекрасно иллюстрирована математически» (цитаты из выступлений профессоров на заседании диссовета). Методологическое качество защищаемых диссертаций ниже всякой критики. Состав диссертационных советов обычно держится в тайне и не публикуется на сайтах организаций, при которых они работают и существованием которых эти организации якобы гордятся. Независимые отрицательные отзывы на авторефераты и диссертации диссоветами игнорируются под разными предлогами (не получили, получили поздно, не принимаем по электронной почте, … по факсу, … заказным письмом с уведомлением о вручении, … врученный лично). Недавний подобный опыт описан членом ОСДМ В. А . Аксеновым [4]. В связи с изложенным ситуация с повышением качества диссертационных работ представляется безнадежной на достаточно отдаленную перспективу.
ВАК
ОСДМ имеет определенный опыт взаимодействия с ВАК, который, однако, нельзя назвать плодотворным. Первое обращение ОСДМ в ВАК в 2007 году [5] содержало следующие предложения:
Размещать на официальном сайте ВАК полные тексты подготовленных к защите диссертаций (на первом этапе — докторских) параллельно с внедрением программной системы обнаружения плагиата (заимствований).
Разместить на официальном сайте ВАК и регулярно актуализировать поименный состав экспертных советов ВАК.
Принимать к обязательному рассмотрению экспертными советами отзывы на диссертации и авторефераты, направляемые непосредственно в ВАК (в случае их отсутствия в деле, поступившем из диссертационного совета).
Ввести процедуру обязательного статистического рецензирования в экспертных советах диссертаций по медицинским специальностям.
Ввести процедуры тайного голосования при принятии решений о заключениях по диссертациям и рекомендациях по присуждению ученых степеней в экспертных советах.
Размещать на официальном сайте ВАК результаты рассмотрения диссертаций экспертными советами (число голосов, поданных «за», «против» и «воздержавшихся»).
Ответа данное обращение не удостоилось. За прошедшие пять лет не было ни принято, ни реализовано ни одно из предложений, за исключением внедрения в 2007 году системы «Антиплагиат», о методике и результатах применения которой, к сожалению, научной общественности до сих пор ничего не известно. Сайт ВАК по запросу «антиплагиат» не выдает ни одного результата. Возможно, что-то было опубликовано в малодоступном «Бюллетене ВАК» — «рецензируемом» (по данным Научной электронной библиотеки elibrary.ru, взявшейся за разработку системы оценки цитирования российских публикаций), журнале, распространяющемся только по подписке и только в бумажной версии. Главное — ВАК по-прежнему остается закрытой организацией с неадекватными процедурами (в частности, с отсутствием тайного голосования при рассмотрении диссертаций на заседаниях экспертных советов). Отрицательные отзывы на диссертации и авторефераты, направляемые непосредственно в ВАК, не рассматриваются либо игнорируются. Диссертации по-прежнему недоступны в электронном формате. Более того, с октября 2011 года авторефераты кандидатских диссертаций не публикуются нигде (до этого публиковались на сайтах НИИ и вузов, где проводилась защита диссертации).
В 2011 году ОСДМ снова обратилось в ВАК [6] со следующими предложениями:
Обсудить на заседании Президиума ВАК и/или на заседаниях экспертных советов по терапевтическим, хирургическим, медико-профилактическим и медико-биологическим наукам направляемый нами в Приложении материал В.П. Леонова «Доказательная или сомнительная? Медицинская наука Кузбасса: статистические аспекты».
Ввести экспертов в области доказательной медицины и статистического анализа медицинских данных в составы экспертных советов по терапевтическим, хирургическим, медико-профилактическим и медико-биологическим наукам.
Возложить на этих экспертов обязанность проводить выборочную проверку обоснованности выводов рассматриваемых диссертаций. Выбор рассматриваемых диссертаций проводить по рекомендации других членов экспертных советов либо случайным образом.
Широко анонсировать в «Бюллетене ВАК» и СМИ повышение требований к качеству (научной обоснованности) представляемых диссертационных работ по медицине, в том числе к качеству проводимого статистического анализа собираемых диссертантами данных.
Ввести практику исключения журналов из Перечня ВАК на основании результатов анализа научного уровня публикаций либо разработать силами ВАК совместно с ОСДМ и реализовать процедуру такого исключения. В качестве первого предложения оснований для такого исключения направляем результаты анализа публикаций следующих журналов, включенных в Перечень ВАК: «Мать и дитя в Кузбассе», «Медицина в Кузбассе», «Политравма» (Приложение).
Прогресс налицо: на наше письмо получен ответ начальника Управления аттестации научных и научно-педагогических работников Федеральной службы по надзору в сфере образования и науки Министерства образования и науки РФ Н.И. Аристера [7]. Его основное содержание следующее:
— экспертные советы считают, что поднятые в обращении вопросы требуют повышенного внимания со стороны экспертов при рассмотрении диссертационных работ, включая дополнительную экспертизу применения статистических методов обработки и анализа в представляемых работах;
— экспертные советы приняли решение усилить внимание экспертов к данному аспекту анализируемых работ с дальнейшим анализом ошибок и доведением их до сведения общественности через публикации в «Бюллетене ВАК»;
— вопрос о введении специальных экспертов в области ДМ в состав ЭС будет рассмотрен при очередном обновлении их состава.
Из полученного ответа следует, что в составе экспертных советов есть специалисты, которые могут (обладают необходимой квалификацией) «повысить внимание» и осуществлять «дополнительную экспертизу применения статистических методов обработки и анализа». Качество утвержденных диссертаций, а также наш личный опыт участия в одном из заседаний терапевтического экспертного совета позволяет с большой уверенностью утверждать, что специалистов в области клинической эпидемиологии и биостатистики в их составе нет, а немногие имеющиеся компетентные профессора не считают нужным и возможным участвовать в такой работе (в силу возраста, занятости, конфликтов интересов и т.д.).
Второе обещание ВАК — о рассмотрении возможности введения экспертов в области доказательной медицины — является весьма неопределенным, поскольку неизвестно, когда именно будут происходить обновления их составов. Ведь составы экспертных советов и даты их переформирования по-прежнему засекречены. Известно лишь, что периодичность такого обновления — 3 года. Так что обещанного следует ждать как минимум 3 года…
Надо признать, что активность ВАК, по-видимому, направлена на более существенные вещи. В соответствии с новым «Положением о совете по защите диссертаций … » от 12.12.2011 присутствие членов диссертационного совета на заседании диссертационного совета фиксируется в аудиовидеозаписи заседания диссертационного совета. Из этого напрашивается вывод, что ВАК озабочен тем, проводятся ли вообще в реальности заседания диссоветов либо просто генерируются на бумаге. Безусловно, тут уже не до доказательной медицины…
Ольга Реброва
Вице-президент МОО «Общество специалистов доказательной медицины»,
Москва, Россия, [email protected]
1. Uniform Requirements for Manuscripts Submitted to Biomedical Journals. URL: www.icmje.org/urm_main.html
2. ВАК МОН РФ. Перечень ведущих периодических изданий // http://vak.ed.gov.ru/ru/help_desk/list/
3. Леонов В.П. Доказательная или сомнительная? Медицинская наука кузбасса: статистические аспекты // www.biometrica.tomsk.ru/kuzbass1.htm
4. Аксенов в.А.. правая лопасть перигелия уменьшилась (р<0,05) // https://sites.google.com/site/ogmaleaks/
5. Обращение правления Общества специалистов доказательной медицины и правления Московского отделения ОСДМ к председателю ВАК Министерства образования и науки РФ академику РАН М.П. Кирпичникову от 21.05.2007 // http://osdm.msk.ru/publ/OSDM-VAK-2.jpg
6. Обращение Межрегиональной общественной организации «Общество специалистов доказательной медицины» к председателю ВАК Министерства образования и науки РФ академику РАН М.П. Кирпичникову от 11.05.2011 // http://osdm.msk.ru/publ/VAK-2011.pdf
7. Ответ начальника управления аттестации научных и научно-педагогических работников Федеральной службы по надзору в сфере образования и науки Министерства образования и науки РФ Н.И. Аристера от 17.06.2011 // http://osdm.msk.ru/publ/VAK-OSDM-2011.jpg
Пока статья готовилась к печати
Разворачивающиеся в последние дни события вокруг ВАК и диссоветов (см., например www.inright.ru/articles/nation/20130201/id_944) заставляют задуматься о том, что научному сообществу надеяться на вышестоящие инстанции не приходится, и единственное, что мы можем делать, — просто оставаться порядочными людьми и отвечать каждому за себя, в том числе рецензируя статьи, голосуя на заседаниях диссоветов и избегая конфликтов интересов.
А ещё гуманитариев ругают…
Прихожу я к неврологу. Меня спрашивают про жалобы. Я говорю: «головные боли». После чего в карте оказывается запись: «головные боли после переутомления».
Да за такую самодеятельность в гуманитарной науке фольклористике сейчас с первого курса вышвыривают!
когда в медицинском журнале требуют ограничить количество источников в списке литературы…, что это как не побуждение авторов к плагиату?
Ольга Юрьевна, ранее в статье «Переписные истины» Ирина Власова упомянула о возможном массовом изготовлении диссертаций из одних и тех же материалов в НИИ скорой помощи им. Склифосовского и при этом она ссылалась на сайт ОСДМ osdm.org/blog/2012/04/14/392/
В связи с этим интересно было бы узнать: 1) как на это сообщение отреагировала ВАК и 2) пыталось ли руководство НИИ скорой помощи опровергнуть весьма серьезные обвинения в адрес института. (К сожалению, я так и не смогла на моем компьютере открыть приложенные к той публикации подтверждающие документы, которые на сайте ОСДМ представлены в формате .tif )
Lena,
ни ВАК не отреагировала, ни кто-либо из НИИСП. Но по данному случаю мы не писали специальное письмо в ВАК, писали о предыдущих прецедентах — как всегда, без ответа. Считаете ли Вы, что это целесообразно сделать сейчас, после актуализации проблемы? У меня есть сомнения.