За хайпом — дефекты дизайна, плохое исполнение и сомнительная публикация

В октябре сего года мы отправили в The Lancet письмо с предложением отозвать опубликованную в этом, одном из ведущих, медицинском научном журнале статью Д. Ю. Логунова и соавторов [1] об испытании вакцины против COVID-19, разработанной НИЦ эпидемиологии и микробиологии им. Н. Ф. Гамалеи. Основанием для нашего письма послужило то, что в сентябре мы обратились к авторам с просьбой предоставить исходные данные исследования, как было ими обещано в Data Sharing Statement в самой статье. Уже более двух месяцев авторы статьи не отвечают на нашу просьбу. Конечно, они могли бы отказать в предоставлении данных, но и такого ответа мы не удостоились.

Мы считаем это грубым нарушением норм публикационной этики и, соответственно, призвали редактора журнала отозвать статью, как это предусмотрено поддерживаемым журналом международным стандартом публикационной этики Committee on Publication Ethics. Наше письмо не было опубликовано, а события, связанные с разработкой вакцин, развертываются быстро — в стране проводится вакцинация вне клинического испытания, что требует обнародования причин нашей озабоченности. Ниже мы приводим анализ недостатков исследования, которые выявляются непосредственно в публикации и приложении к ней.

1. Критериями включения пациентов в исследование были отрицательные тесты на антитела G и М, а также РНК вируса. Продукт РЗН 2020/10393 назван в статье тестовой системой для определения IgG, но два других продукта не были указаны. Возможно, вирусную РНК определяли с помощью продукта РЗН 2020/10550 института Гамалеи. Операционные характеристики отдельных тестов неизвестны, как и общая диагностическая точность набора тестов. Преаналитические параметры (материал зонда, биоматериал, техника отбора проб) также неизвестны, хотя от них зависит диагностическая точность теста. Следовательно, неизвестно, сколько результатов тестов могли быть ложноотрицательными. При повторном тестировании такие случаи могли бы оказаться истинно-положительными.
2. В результате скрининга из 120 добровольцев 100 были признаны соответствующими критериям включения и исключения, но только 76 из них были включены в исследование. Авторы не сообщают, почему 24 добровольца были исключены, а блок-схема проведения исследования отсутствует. Методы формирования групп как в фазе 1, так и в фазе 2 не описаны. Всё это указывает на высокую вероятность смещенности выборки.
3. Первичный критерий эффективности (сероконверсия) является суррогатным, его связь с клинической эффективностью (защитными свойствами вакцины) неизвестна. Желаемый уровень сероконверсии не установлен. Результат, полученный для этого исхода, составляет 100% сероконверсии. Однако для выборки из 20 пациентов точный 95-процентный доверительный интервал для этой величины составляет 83–100% и недопустимо широк.
4. В качестве первичного критерия безопасности заявлено количество пациентов с нежелательными явлениями (НЯ), однако перечень регистрируемых НЯ отсутствует, а доля пациентов с НЯ, признанная приемлемой для доказательства безопасности вакцины, не указана. При этом количество пациентов с НЯ в статье не сообщается, приведены только относительные частоты НЯ, которые варьируют от 0% до 100%. Это значит, что каждый участник испытания имел по крайней мере одно НЯ. Но наиболее важно то, что вероятность пропуска серьезных НЯ в выборках из 20 больных достигает 17%.
5. Текст, описывающий расчет размера выборки, неполон. Размер выборки был рассчитан для ожидаемой частоты сероконверсии 99%, но другие параметры этого расчета не приведены. Д. Ю. Логунов и соавторы высчитали необходимое число пациентов 16, но при таком числе пациентов любые результаты испытания заведомо оказываются недопустимо неопределенными.
6. Недостаточно описана выборка из 4817 пациентов, перенесших заболевание в легкой и среднетяжелой форме, плазма которых использовалась для внешнего сравнения (плазма была взята через месяц после «выздоровления»). Количество серонегативных и серопозитивных случаев в этой группе не указано.
7. Есть несколько проблем с анализом данных, среди них главные:

а) таблицы S3–S6 содержат оценки статистических параметров для значений антител в день 0 равные 1 и 1,250, в то время как в тексте статьи авторы сообщают о том, что «у всех добровольцев не было антител к SARS-CoV-2 в день 0» [1]. Этому нет объяснений. Результаты, приведенные в этих таб­лицах, можно воспроизвести, если использовать данные из рис. 2 и заменить нули на 1. Возможно, авторы сделали такую замену с целью расчета средних геометрических, но это можно рассматривать как фальсификацию данных;

б) значения средних геометрических в тексте не соответствуют величинам на рисунках и не согласуются с воспроизведенными оценками. Например, для фазы 2 испытания замороженного препарата среднее геометрическое титра IgG на 28-й день составляет 3442 в тексте, около 6400 на рис. 2-B и 5382 при использовании индивидуальных данных с рис. 2-В. Есть аналогичные расхождения и для других дней;

в) дисперсионный анализ для повторных измерений не проводился. Также не применялись необходимые в таких случаях поправки на множественные сравнения.

8. Авторы сообщают о нескольких ограничениях своего исследования. Согласно критериям включения в исследовании могли участвовать лица в возрасте от 18 до 60 лет. Авторы называют ограничением исследования молодой возраст участников, средние значения которого находятся в диапазоне от 25 до 31 лет. Однако максимальный возраст участников не указан. Судя по всему, имело место неэтичное включение военнослужащих, которых было легко набрать для исследования.

Еще одним обсуждаемым Д. Ю. Логуновым и соавторами ограничением является небольшой размер выборки, что противоречит их собственному описанию несколькими абзацами выше расчета размера выборки при планировании исследования.

Мы считаем, что низкое методологическое качество, дефекты дизайна исследования, ошибки в анализе данных, плохое описание исследования ставят под вопрос основные заключения о безопасности и эффективности вакцины. Эти выводы основаны на изучении опубликованной статьи, тогда как независимый анализ первичных данных мог бы дать ответы на некоторые из обсуждаемых вопросов. Однако авторы, которым, видимо, есть что скрывать, не предоставляют к ним доступ вопреки заявленным обязательствам, и это — дополнительный аргумент в пользу отзыва статьи. То, что The Lancet не отзывает статью и ограничивает ее критику, может быть связано с недавним болезненным опытом журнала — публикацией статьи об эффективности гидроксихлорохина, описывающей анализ, выполненный по большой базе данных, которая в действительности не существовала [2]. Ту статью пришлось отозвать и признать неполноценность редакционной политики, в том числе и в отношении авторских обязательств предоставить доступ к первичным данным. И вот уже второй прокол The Lancet в этом году…

Уже во время подготовки этой публикации для ТрВ-Наука Pfizer и BioNTech сообщили о промежуточном анализе результатов продолжающегося испытания вакцины против COVID-19. При накопленном количестве заболевших 94 человека вакцина показала эффективность 90%. Через день разработчики вакцины «Спутник V» сообщили, что их продукт имеет эффективность 92% [3]. Это сообщение также основано на промежуточном анализе данных продолжающегося испытания. Однако важно, что промежуточная оценка эффективности не была заявлена при регистрации протокола испытания.

Кроме того, 92% эффективности получены расчетом на основании всего 20 случаев. В момент анализа включенные в него участники получили только первую дозу вакцины. Это совершенно неприемлемая, даже смехотворная политическая акция по навязыванию соревнования разрабатываемых вакцин с нарушением важнейших норм проведения испытаний. Создание атмосферы гонки делает разработчиков «Спутника V» заложниками сделанных неосторожных заявлений, угрожает доброкачественному проведению испытания вакцины и, следовательно, создает опасность для здоровья россиян.

Василий Власов, докт. мед. наук, профессор НИУ ВШЭ
Ольга Реброва, докт. мед. наук, профессор РНИМУ им. Н. И. Пирогова
Валерий Аксёнов, канд. мед. наук, научный редактор издательства «Бионика Медиа»

Авторы — вице-президенты Общества специалистов доказательной медицины (osdm.org)

1. Logunov D. Y., et al. Safety and immunogenicity of an rAd26 and rAd5 vector-based heterologous prime-boost COVID-19 vaccine in two formulations: two open, non-randomised phase 1/2 studies from Russia // The Lancet. September 26, 2020. V. 396. Iss. 10255. P. 887–897. (Published online September 4, 2020.) doi.org/10.1016/S0140–6736(20)31866–3. DOI 10.1016/S0140-6736(20)31866-3. Accessed 13.11.2020.
2. The Editors of the Lancet Group. Learning from a retraction. October 10, 2020, September 17, 2020. V. 396. Iss. 10257. P. 1056. doi.org/10.1016/S0140-6736(20)31958-9. Accessed 13.11.2020.
3. Эффективность вакцины «Спутник V» против коронавируса составила 92% в ходе первого промежуточного анализа данных фазы III клинических исследований в РФ. Дата обращения: 14.11.2020.