На пятом месяце существования «Диссеропедии журналов» [1] в сообществе «Диссернет» возникло понимание того, что необходим диалог с публикой: обсуждение неоднозначных вопросов, объяснение нашей позиции. Были собраны вопросы от журнального сообщества для создания раздела «ЧаВо» («Частые вопросы») на сайте «Диссеропедии». Однако ответы на эти вопросы [2] породили настолько эмоциональную дискуссию внутри «Диссернета», что нам показалось интересным вынести на публику основные фрагменты этого обсуждения (имена его участников даны в виде инициалов).
М. К.: Я против самой стратегии, сформулированной в наших ответах. Ведь редактор журнала в дополнение к Scopus, Рособрнадзору, поиску денег должен теперь бояться «Диссеропедии», которая будет клеймить позором за то, что редактор не в состоянии контролировать.
Как вы себе представляете работу редактора научного журнала? До публикации у него нет инструментов, чтобы выяснить, печатался ли автор где-то еще; после публикации у него нет времени, чтобы проверять все статьи за сколько-то лет на повторы. А «Диссернет», оснащенный инструментами и страстью, вывесит на доску позора всех без разбора: и мусор, и честного, но затраханного редактора из условно разбомбленного Воронежа.
В итоге мы прежде всего ударим по тем ученым, которые в принципе дорожат своей репутацией, но просто не знают, что делать. Именно они поддерживают «Диссернет», и именно они теперь должны будут испуганно следить, не появился ли их журнал в списке.
А. Р.: «Диссернет» делает моментальный снимок положения с диссертациями и публикациями. К этому нужно так и относиться. Мы никогда не ставили своей целью научить диссоветы относиться ответственно к защищаемым диссертационным работам. Также у нас нет цели и возможности кооперироваться с редколлегиями журналов.
Рецензент имеет возможность поинтересоваться тем, что уже написано на тему рецензируемой им рукописи. Если у редколлегии нет возможностей проверять, то это — состояние дел в конкретной редколлегии.
Мы отвечаем редакциям журналов. Недавно мы в результате переговоров приняли аргументы и сняли с сайта несколько спорных кейсов. Мы общаемся с издательствами через Ассоциацию научных редакторов и издателей (АНРИ), начиная с наших выступлений на конференции НЭИКОН в 2016 году. Более представительного сообщества редакторов и издателей в стране больше нет.
Мы проводим вебинары на эту тему и объясняем, как работает журнальный проект «Диссернета». Если есть какая-то своя аудитория редакторов, которая не участвует в ежегодных конференциях НЭИКОН, никогда не слышала про Совет по этике при АНРИ, то это какие-то совсем дремучие редакторы: им надо почитать основные документы по публикационной этике. Но 90% изданий не хотят с нами разговаривать по понятным причинам.
М. Г.: «Мы никогда не ставили своей целью научить диссоветы относиться ответственно к защищаемым диссертационным работам» — это не совсем точно. Мы ровно это и провозглашаем своей целью.
Не думаю, что правильная тактика — подходить к журналам так же, как к диссоветам. В принципе — да, но, учитывая, что у журналов есть публичный ресурс (в отличие от тех же диссоветов), надо демонстрировать большую готовность к сотрудничеству. В отличие от диссоветов, где всё было понятно, в журнальной ситуации требуется более глубокая разъяснительная работа и общественное обсуждение. Потому, в частности, что критерии неприемлемой повторной публикации не совсем численные и в разных науках, насколько я понимаю, плывут.
«В отличие от диссоветов, в журнальной ситуации требуется более глубокая разъяснительная работа и общественное обсуждение»
Тут речь идет о том, чтобы дискутировать не с 90% действительно мусорных журналов (которые и высовываться не будут), а с более широким кругом общественности, реакция которой, как видно по некоторым коллегам, может внезапно оказаться негативной. Надеяться на то, что в конечном счете все сами всё поймут, было бы опрометчиво — скорее, закоснеют в предубеждениях.
С. П.: Мне кажется, что важным достижением «Диссернета» за все эти годы стало утверждение правомерности и обоснованности нашей фирменной «презумпции виновности». Мы всегда исходили из того, что нас не волнует, «специально» диссертант стащил чужой текст или «нечаянно». Мы всегда считаем, что ответственность за проверку чистоты и честности своего текста лежит на диссертанте.
То же и с организаторами диссерорезных производств, с профессорами-фальсификаторами, нечестными научруками и безграмотными оппонентами. Мы завели для них отдельный мегапроект — «Диссеропедию вузов». И там обзываем последними словами. И пытаемся — не без успеха — доказать публике, что их вина в организации системы фальсификации научных трудов не меньше, чем вина самих заказчиков.
Хотя они каждый раз, когда мы устраиваем скандал вокруг какого-нибудь жульнического диссовета, поднимают возмущенные вопли: «Да откуда же у нас возможность уследить за всем, кто где когда кому зачем о чем писал раньше? Да у нас же нет таких инструментов, чтоб отследить. Да мы же не можем наизусть помнить все научные тексты по своей специальности. Да вы, злодеи диссернетовские, просто хотите остановить отечественную науку, запугать научное сообщество, опозорить честных ученых, отвратить молодых соискателей от самой идеи защиты, посеять панику в рядах добросовестных коллег…»
И всё это звучит на первый взгляд очень убедительно. Но мы этим воплям не верим и объявляем их лицемерием.
Мы им отвечаем: ваш диссовет производит ворованный, жульнический товар, и виноваты в этом именно вы. Мы не знаем, что у вас там не так организовано, но видим, что в результате получается вот такой гнусный результат. Мы не будем вас учить жизни, но мы уверены, что так, как у вас там сейчас, оставлять нельзя. Делайте что угодно, справляйтесь как хотите, но организуйте систему, которая будет отслеживать фальшак и гарантировать его непроникновение. А пока вы этого не сделали — мы будем считать, что вы жульничаете намеренно, и будем вас позорить.
Вот ректоры некоторых крупных вузов — например, Владимир Мау из РАНХиГС, или Наталья Починок из РГСУ, или, скажем, профессор Басовская из РГГУ — нам разными словами, но в один голос говорят одно и то же: «Мы ничего не можем поделать. Мы не можем взорвать ландшафт. Мы не можем оскорбить людей подозрениями. Мы верим, что все хотели быть честными, но не у всех получилось. Есть вещи поважнее, чем рыться в старом пыльном дерьме. Это гробокопательство».
Но мы им не верим. И считаем, что они просто покрывают своих жуликов и уклоняются от исполнения своего начальственного долга. Я уверен, что во всех этих случаях мы поступаем правильно.
Так вот я думаю, что мы должны придерживаться того же подхода и в третьем нашем мегапроекте — журнальном.
Да, действительно, служба журнального издателя и служба журнального редактора и опасна, и трудна. И они все бедные-несчастные. Работают за гроши, завалены материалом, времени не хватает, инструментов нет, рецензентам платить нечем, кадров не напасешься. Как им проверить, не разослано ли в сто мест веером одно и то же, — непонятно. Очень их всех жалко. Но очень было бы странно, если бы «Диссернет», занимающий столь ясную и недвусмысленную позицию в вопросах о диссертантах-жуликах, о диссероделах-мошенниках и о диссоветах-покрывателях, вдруг надломился именно на журналах. С чего бы это?
Мы видим, что та система подготовки научных изданий, отбора и экспертизы публикаций, рецензирования, проверки на плагиат и на самоповторы, которая теперь действует, дает вот такой результат. Этот результат нас категорически не устраивает. Мы об этом сообщаем. Дальше не наше дело, как они будут из этого выбираться. Если ничего не могут поделать — пусть закрывают лавочку. Если не хотят закрывать — пусть живут с клеймом мусорного издания на лбу.
«Журналы затем и нужны, чтобы раздавать исследователям своеобразные сертификаты подлинности и состоятельности их исследований»
Журналы затем и нужны, чтобы раздавать исследователям своеобразные сертификаты подлинности и состоятельности их исследований. В этом и первоначальный смысл требования, чтобы прежде, чем человек станет претендовать на научную степень, он сделал несколько публикаций в «солидных журналах» и потом предъявил эти публикации в своей библиографии.
А иначе зачем они нужны-то? То есть журнал, в сущности, торгует сертификатами подлинности и научной состоятельности. И вдруг в ответ на упрек начинает говорить: мы не можем гарантировать, что наша подлинность подлинная, а наша состоятельность состоятельная, — потому что это очень трудно, а у нас нет ни времени, ни людей, ни инструментов.
Еще лучше требование: мы качество своей работы сами отследить не в состоянии, поэтому вы, «Диссернет», делайте это вместо нас, на общественных началах, и нам сообщайте заблаговременно. Из этого следует вывод: самим журналам никакие гарантии качества не нужны. А нужны они почему-то исключительно «Диссернету».
Вот куда эта логика нас естественным образом заводит. И мы, по моему убеждению, добровольно в этот логический тупик идти не должны.
А. А.: Я колебалась и размышляла над нелегкой судьбой редакторов журналов в России и что им надо помочь, с ними надо кооперироваться. Что журналы сеют разумное, доброе, вечное и к ним нужно особое отношение.
Сейчас я готова признать, что такой ход мысли — это ловушка. «Диссернет» — это не благотворительная организация. Кооперация с журналами приведет только к конфликту интересов.
«„Диссернет“ — это не благотворительная организация. Кооперация с журналами приведет только к конфликту интересов. Мы не воспитатели детского сада и не палачи с „диссерорубкой“, а просто микроскоп с высоким разрешением»
У «Диссернета» и его журнального проекта есть своя цель — показать срез уровня развития журнального рынка в России по выбранным критериям. Точка.
Что касается поддержки сообщества редакторов. Возьмем, например, экономику. В России наберется около десяти добротных журналов по экономике. Остальные четыре сотни из списка ВАК вряд ли будут поддерживать журнальный проект. Будут ли поддерживать десять добротных? Я предполагаю, что они завалены работой и им не до этого.
Что касается поддержки научного сообщества. Это важная составляющая. Но мне кажется, что мы уже забыли 2013-2014 годы и с чего всё начиналось. Экономическое сообщество очень негативно откликалось на «Диссернет». Сейчас же общественное мнение значительно поменялось.
Если и вести дискуссию с научным сообществом, то надо переводить обсуждение в плоскость выбранных критериев и методологии критериев. Например, как отзывать статью и т. д.
При этом считаю важным давать столько разъяснений для благонамеренных граждан, сколько потребуется, чтобы они поняли, что мы не воспитатели детского сада и не палачи с «диссерорубкой», а просто микроскоп с высоким разрешением.
А. Р. : Пользуясь случаем, я хотел бы здесь привести аналогию между журнальным проектом «Диссернета» и известными библиографическими базами данных. Для примера возьму самую престижную в мире и самую репутационно безупречную — Web of Science.
WoS оперирует информацией о журналах, которые тем или иным способом попали в ее базу. «Дис-сернет» оперирует открытой информацией о журналах, попавших в перечень ВАК.
WoS не ставит своей целью чему-то научить редакции журналов. Единственный ее контакт с редакциями случается при проверке на входе и при сообщении редакции о том, что журналу больше не место среди лидеров мировой научной периодики. При этом надо учесть, что в WoS журнальным проектом занимаются 1300 хорошо оплачиваемых специалистов. Про «Диссернет» вы и сами всё знаете, сколько «тысяч» сотрудников заняты в нашем производстве. При этом надо учесть, что объем журналов, которым оперируем мы, всего в восемь раз меньше, чем в WoS.
Я недаром завел речь про WoS. Я попросил одного из их сотрудников сделать для меня некоторые расчеты, результат которых приведен на вставке. Это рейтинг всех стран, у которых в WoS проиндексировано хотя бы 100 научных публикаций. Список ранжирован по среднему числу ссылок на журнальные публикации для каждой страны. Видно, что наши топовые научные журналы в этом рейтинге уступают нигерийским и чуть-чуть впереди украинских (см. таблицу ниже).
Но суть этой картинки вовсе не в том, чтобы показать, что Россия стоит на одном из последних мест в мире в отношении качества и признания ее научной печатной продукции. Смысл этой таблички — в двух колонках слева.
Россия умудрилась на сегодняшний день правдами и неправдами протащить в WoS около 350 научных журналов, многие из которых имеют англоязычную версию. В совокупности это дает более 300 тыс. научных публикаций. Это на порядки превосходит аналогичный показатель у наших соседей по этому рейтингу. По числу изданий в WoS мы занимаем 14-е место в мире. Примерно столько же изданий в WoS у Китая и Индии, хотя их научный вклад в мировую научную копилку в восемь раз и в три раза больше нашего соответственно.
О чем это говорит? О масштабе научного мусора, которым мы забиваем мировое пространство. Еще это говорит о масштабе амбиций, с которыми мы лезем в мировое научное пространство.
Всё это я привел здесь для того, чтобы ни у кого не было иллюзий, с каким материалом нам приходится оперировать в «Диссернете».
М. К.: Высказанные доводы являются железным аргументом для обоснования журнального проекта. Но они не автоматически означают, что методы должны быть неизменными. Предлагаю еще подумать над следующими высказанными аргументами.
- Мы выработали успешную стратегию на диссертациях, и нет смысла ее менять.
Как нас учат социологи, этот аргумент фиксирует стабильность проекта, предшествующую стагнации. По-моему, перспективы «Диссернета» не в констатации существующего положения дел, а в создании протокола и инструментария для рутинной работы диссоветов и редакций. - Мы исходим из фирменного подхода, который, на мой взгляд, неверен в случае с журналами:
a) диссертации — чистый случай воровства (автор и диссовет знают, определить до момента защиты возможно, наши аргументы железобетонно понятны — раскраска);
b) веерные публикации — не чистый случай и не воровства (редакции до момента публикации не могут проверить факт веерной рассылки, автор не ворует в юридическом смысле, процент легитимного самоповтора в разных областях разный). - 95% публикаций мусорные, поэтому мы готовы настроить против себя и мусорных авторов/редакторов, и оставшиеся 5%, вместо того чтобы кооперироваться с адекватными коллегами.
Я по-прежнему считаю, что надо кооперироваться с научным сообществом, а не занимать позицию сверху. Адекватный редактор — не враг, а необученный друг.
А. Р.: Мы не говорим о воровстве в случае веерных рассылок. Мы говорим о нарушении публикационной этики. Эти нормы прописаны уже тысячу раз на всех сайтах российских издательств научных журналов. Я не говорю про западные — там ни у кого не вызывает сомнений, что это грубейшее нарушение.
По сути, почти 100% проблем российских журналов связано исключительно с разрушенным институтом научного рецензирования. Ответственных профессиональных рецензентов, так же как и ученых, в стране меньше, чем научных журналов. Их просто неоткуда взять.
Многие журналы, с редакциями которых приходилось общаться в последнее время, так прямо и заявляют, что рецензент пошел нынче слабый. Поэтому красной чертой в этом вопросе для журнала является восстановление процедуры рецензирования, не номинального, а реального. Однако здесь есть проблема — процедура рецензирования непрозрачна. Редактор может в любой момент заявить: «А теперь у нас с рецензированием всё окей».
«Красной чертой для журнала является восстановление процедуры рецензирования, не номинального, а реального»
Именно поэтому мы предлагаем журналу самостоятельно провести постпубликационное рецензирование. Господа редакторы, если вам дорога репутация вашего издания, посмотрите внимательно, что уже опубликовано у вас, и вы легко обнаружите и веерные рассылки, и весь букет нарушений, допущенных за последние годы. Отзовите все статьи с нарушениями, и авторы-хищники начнут вас обходить стороной, а нормальные ученые начнут с удовольствием публиковаться! Приличные журналы уже принялись за эту работу после наших публикаций.
Чтобы исправить создавшееся ужасное положение в российской научной периодике, необходимо серьезно поработать. Недостаточно провести черту — с сегодняшнего для мы все честные, а кто прошлое помянет — глаз вон. Мы не должны вестись на очередной срок давности.
Здесь я приведу цитату: «The retractions are a good window into the self-correcting nature of science» («Отзывы статей — это хороший способ увидеть самокорректирующую природу науки»). Это слова Ивана Оранского, сооснователя RetractionWatch.
С. П.: Мне кажется, помимо всего прочего полезно задать самим себе (и знающим реальное положение дел людям) один вопрос: а вообще бывают в России честные научные журналы? Есть такие, кто не годится для наших разоблачительных «позорных списков», потому что там всё в порядке?
Если окажется, что все кругом как бы преступники и невиновных вообще не существует, значит, у нас что-то не то с критериями. Или по меньшей мере надо приподнять порог чувствительности при измерениях.
Но если честные и качественные журналы всё же есть, значит, мы вполне вправе указывать жуликам (ну хорошо, не всегда жуликам, а иногда и невольным нарушителям процедуры) на то, что их продукция не может считаться качественной и является, по существу, либо осознанной подделкой, либо просто невольным браком.
А. Р.: Необходимо уточнить терминологию.
Нечестные журналы — к этим журналам мы в первую очередь относим так называемых хищников. Понятие хищных изданий было введено в оборот библиотекарем и профессором Университета штата Колорадо Джеффри Биллом (Jeffrey Beall). Для хищных изданий характерно необычно большое количество коротких публикаций по широкому спектру научных специальностей, быстрый рост числа публикаций со временем, отсутствие влиятельных ученых в составе редколлегии, короткий гарантированный срок «рецензирования» рукописей и максимальная экономия на издательских издержках.
За последние несколько лет количество публикаций в этих изданиях увеличилось почти на порядок. По сути, это просто бизнес под прикрытием науки. По большей части из-за отсутствия рецензирования это приводит к профанации научной деятельности.
Хищных журналов мало — десятки (1%), но они, как раковая опухоль, пожирают публикационное пространство, и сегодня они перетянули на себя примерно 20–30% всех публикаций, которые по традиционному подходу мы всё еще называем научными.
К нечестным журналам относятся также издания, заточенные на обслуживание диссеродельных фабрик. Чаще всего в таких изданиях публикуют статьи на заказ и торгуют авторством. Мы эти журналы проще всего идентифицируем по густому скоплению диссероделов в редакциях и аффилиации с конкретными советами. Таких диссеродельных журналов тоже немного — всего несколько процентов.
Итого, нечестных журналов на рынке не более 10%.
| Журнал | Специализация | Количество персон «Диссернета» в редакции | Рецензии от авторов | Найдено журн. кейсов | Найдено псевдо-науч. | К-во персон «Диссернета» – авторов | Город/ регион |
| Вестник Московского университета МВД России | Экономика, юридические науки, психология | 16 | да | 71 | 0 | 49 | Москва |
| Вестник Университета Российской академии образования | Экономика, педагогика, психология | 6 | Да | 36 | 0 | 19 | Москва |
| Экономические науки | Экономика | 5 | Да | 74 | 0 | 117 | Москва |
| Вестник Тамбовского университета. Серия «Гуманитарные науки» | История, педагогика | 4 | Да | 42 | 0 | 46 | Тамбов |
| Успехи современной науки/ Modern Science Success | Физико-математические науки, химия, биология | 2 | Да | 51 | 0 | 0 | Белгород |
| XXI век: итоги прошлого и проблемы настоящего плюс | Технические науки | 1 | Да | 30 | 0 | 0 | Пенза |
Абсолютное большинство журналов нельзя назвать нечестными. Это просто слабые журналы. Журналы этой категории отличает от журналов-хищников отсутствие агрессивной политики по привлечению авторов с помощью спам-рассылок, высокая географическая локализация авторов и членов редколлегий. К этой категории принадлежат многие традиционные университетские вестники. Это журналы-ретрограды, с понятиями о публикационной этике середины прошлого столетия.
«Нечестных журналов на рынке не более 10%. Абсолютное большинство журналов — просто слабые. Их доля на рынке — около 80%. На долю образцовых журналов приходится 5-10%»
Некоторые из их редакторов просто невежественны и не желают ничему новому учиться. Общая беда этих журналов — практическое отсутствие серьезного научного рецензирования.
Из-за этого в таких журналах с удивительной легкостью заводятся авторы-хищники. Именно благодаря им «Диссернет» оказался способен обнаружить значительную часть журналов с ослабленной иммунной системой. Авторы-хищники занимаются веерной рассылкой текстов своих статей по подобным изданиям.
По моим оценкам, доля таких журналов на рынке — около 80%.
И есть, конечно, образцовые журналы. На их долю приходятся оставшиеся 5-10%.
С. П.: Ну вот этот ответ, мне кажется, очень ясно указывает нам на правильную постановку журнального дела в «Диссернете». Нужно построить деятельность «Диссеротеки» на раздельном отношении к трем этим типам журналов.
- Безнадежные жулики (10% рынка): они в любом случае будут нас ненавидеть и с нами бороться, потому что мы им бизнес ломаем. От этих просто нужно стараться обороняться, но в то же время наносить им как можно более чувствительные репутационные удары.
- Честные и высококачественные (10%): им мы ничем не угрожаем, и теоретически может оказаться, что им всё равно на нас наплевать и они о нас ничего знать не хотят. Но надо стараться, чтобы они знали о работе «Диссернета» и испытывали чувство глубокого удовлетворения от того, что «Диссернет» их в своих позорных списках не упоминает.
В идеале даже было бы хорошо, если б они (сами, без нашего участия) стали использовать свое отсутствие в списках «Диссернета» как сертификат качества: стали бы сами упоминать этот факт и гордиться им публично. Это повысит узнаваемость и престиж самой работы «Диссернета». - Слабая и бедная «масса» (80%): в отношении их «Диссернет» должен вести себя сурово и строго, но предоставлять им общую методическую помощь в возможном деле исправления и самосовершенствования. Было бы хорошо, если б мы выставили для всех желающих и всех нуждающихся какой-то развернутый, понятный, практически применимый инструментарий улучшения качества.
«Было бы хорошо, если б мы выставили для всех желающих и всех нуждающихся какой-то развернутый, понятный, практически применимый инструментарий улучшения качества»
И дальше — если кто хочет сидеть в помойке и огрызаться на нас, ну пусть сидит. Но если кто хочет выйти из позорного списка — вот, обратите внимание на это: вот тут полезные ссылки на методические указания, вот коллекция текстов о позитивном опыте, вот информация о доступных инструментах контроля и проверки, вот материалы семинаров и конференций.
А. Р.: Нам не стоит изобретать велосипед. Все библиотеки помощи уже собраны. Этим занимается профессиональное сообщество редакторов и издателей научных журналов АНРИ в РФ и соответствующая организация на Западе Committee on Publication Ethics (COPE). Мы ведь не будем, да и не сможем в таком огромном объеме дублировать деятельность АНРИ. Мы только можем с Ассоциацией кооперироваться, что мы и делаем.
Проблема в том, что вышеупомянутые редакции не желают этим поинтересоваться и предпочитают работать по старинке. Но и в этом мы их не виним. Мы просто говорим простую вещь: научный журнал предполагает серьезное рецензирование. Большинство случаев общения с редакциями журналов заканчивалось в той или иной форме вздохом сожаления — ну откуда же мы возьмем таких рецензентов? В этом и состоит проблема российских научных журналов, как, впрочем, и проблема российской науки в целом.
С. П.: Ну так это очень хорошо, что не нужен новый велосипед.
Значит, вся наша работа по составлению «библиотеки добросовестного редактора, одобренной „Диссернетом“», должна состоять просто в том, чтобы аккуратно подобрать несколько полезных ссылок на материалы, инструкции, инструменты, рекомендуемые АНРИ и COPE.
Кроме того, нам нужно специально подчеркнуть, что «Диссернет» не выдвигает какие-то свои специальные, особо зверские, выдуманные из головы нормы и правила, а просто ориентируется на общепринятую практику добросовестных журналов, которую утвердили АНРИ и СОРЕ.
В сущности, это в точности то же самое, что мы делаем в «классических» диссернетовских экспертизах: мы не требуем ни от кого ничего экстраординарного, а просто настаиваем на том, что человек должен следовать ГОСТам при цитировании и уважать ваковские регламенты. Только и всего.
Нормальный диссидентский принцип, еще в 1960-е годы утвердившийся: «Уважайте вашу Конституцию».
Подготовлено Ларисой Мелиховой («Диссернет»)
Вот 15 правил, которыми должен следовать рецензент престижного журнала по версии Publons Academy:
https://publons.com/blog/how-to-critically-evaluate-a-manuscript-12-questions-you-should-always-ask-yourself/
Top Tips to Critically Review a Research Paper
Elisabeth Bik: Asking these questions should help you form an opinion about the paper, even if you have no idea where to start. It’s the list that I wished I had access to when I started my first peer review. Here we go:
1. Do you have a conflict of interest when reviewing this paper? Do you collaborate with these authors, are they your personal friends, or are they direct competitors? Have you reviewed (and rejected) this paper before? If so, you need to let the editors know.
2. Do the title and abstract cover the main aspects of the work, would it spark interest to the right audience?
3. Is the Introduction easy to follow for most readers of this particular journal? Does it cite the appropriate papers? Does it provide a hypothesis or aim of the study?
4. Does the Methods section provide enough details for the general reader to repeat the experiments?
5. If you skip the Methods, does the Results section give the right amount of detail to understand the basic details of the experiments?
6. Do the Results refer to the figures in a logical order? Do the numbers in the tables add up correctly? Are any figures/tables mislabeled or unclear?
7. Given the data that was obtained in this study, did the authors perform all the logical analyses? Did they include the proper controls?
8. Does the Discussion address the main findings, and does it give proper recognition to similar work in this field?
9. In general, is the paper easy to follow and does it have a logical flow? Are there any language issues?
10. Did the authors make all their data (e.g. sequence reads, code, questionnaires used) available for the readers?
11. Is this paper novel and an advancement of the field, or have other people done very similar work?
12. Finally (and hopefully you will never have to answer yes to any of these questions): Does the paper raise any ethical concerns? Any suspicion of plagiarism (text or experiments), duplicated or tampered images, lack of IRB approval, unethical animal experiments, or «dual use of research concern»?
Follow these tips and you’ll be well on your way to becoming a skilled and sought-after peer reviewer. And remember — if you want to master peer review and connect with top editors then head over to our Publons Academy here.
The Publons Academy is a free online course designed by expert reviewers, editors and Nobel Prize winners to teach you how to become a master of peer review and connects you with real life editors.
Margaret Winker, MD • 2 days ago
These are useful points but some additional ones are important as well:
-Can the study design answer the hypothesis posed? (e.g., is the hypothesis a question of causality but the study design is observational?)
-Do the conclusions follow from the results or do they exaggerate the importance and implications of the research?
-What are the funding source(s) and potential conflicts of interest of the authors?
Margaret Winker, MD
World Association of Medical Editors
wame.org
-views are my own-
Проценты хороших, плохих и слабых журналов взяты просто с потолка. Сколько тех и других в реальности никто не знает. Тезис об отсутствии необходимого количества настоящих рецензентов просто абсурден. В каждом университете, есть достаточное количество специалистов, которые вполне успешно могут справиться с рецензированием, необходимо их только привлечь для этого.
>Тезис об отсутствии необходимого количества настоящих рецензентов просто абсурден. В каждом университете, есть достаточное количество специалистов, которые вполне успешно могут справиться с рецензированием, необходимо их только привлечь для этого.
Это верно, но далеко не все соглашаются работать без какого-либо вознаграждения.
Это вопрос общего уровня. Слабые и бедные — не только к журналам относится. У массы слабых и бедных журналов нет шансов стать высококачественными. Даже если они умудрятся организовать приличное рецензирования, для них просто не найдется достаточного количества приличных работ. При хорошем рецензировании придется 80% статей отклонять. И закрывать журнал. Шанс для журнала вылезти наверх очень невысок. Надо не просто рецензировать, надо как-то привлечь хороших авторов. Причем в достаточно большом количестве и на достаточно большой срок. Чтобы они смогли создать исходно слабому журналу репутацию. Причем тех, кто будет готов отдавать свои хорошие публикации авансом, то есть работать на репутацию журнала, а не на свою.
Тут никуда не деться. Большинство не в состоянии производить научную продукцию приличного качества. Большинству журналов неоткуда взять приличные работы.
Уж по крайней мере этим журналам следует отказаться от позорной практики брать с авторов деньги. Наоборот, хороших авторов следовало бы как-то премировать, хотя бы символически.
А как бы распространить всю эту работу еще и на естественно-научные журналы? Или система пока не умеет?
Пока с научных сотрудников будут требовать писать как можно больше статей, лучше не станет.
Необходимо обеспечить основную массу работой на прикладных направлениях по заказам промышленности. Это должно быть финансово выгоднее, чем занятия фундаментальными исследованиями. И когда главным будет отчёт перед заказчиком, писать статьи будут только в особо важных случаях.
А оставшаяся часть, которая будет готова заниматься фундаментальными исследованиями в ущерб собственному благополучию, много не напишет.
Не питайте иллюзий. Основная масса, которую вы предлагаете привлечь к прикладным направлениям, ничего толкового делать не может в принципе. Неужели кто-то в здравом уме полагает, что те люди, которые сейчас пишут бестолковые статьи в бестолковые журналы, что-то могут дать промышленности? Лучше пусть статьи пишут, вреда меньше, все равно никто их не читает. А те, кто делает приличные работы, в промышленность работать не пойдут. Это специалисты в своих фундаментальных областях. в промышленности от них толку не будет.
Поймите, это не дворники, которых можно стимулировать мести там, где надо и как надо. Тут не в деньгах дело. Систему науки, ориентированную на промышленность, нельзя создать просто так. Ее можно только вырастить. А фундаменталку можно только чистить, создавая конкурентную среду.
Большинство рассуждалок на эту тему страдают неустранимым пороком. Явно или неявно предполагается, что можно придумать систему, в которой все вдруг заиграет и оживет. Это глупая и опасная иллюзия. Кадрового потенциала для этого просто НЕТ. В области журналов просто НЕТ такого числа приличных редакторов, рецензентов и авторов. И так везде.
Вот и я ему то же самое говорю.
Именно так. Снижение престижа профессии привело к общей деградации — в науке (особенно — в «вузовской») куча совершенно никчемных и случайных личностей, которые не годны вообще к какой-либо полезной деятельности. Не возьмут даже в продажники — там нужно уметь общаться и располагать к себе. Их место — бутылки у ларьков собирать… Собственно, это и есть основные авторы мусорных журналов и страдальцы по поводу РИНЦ.
Основной механизм формирования здоровой научной среды — репутационный. Здоровая среда формирует самовоспроизводящуюся систему. И процессы эти очень медленные — нельзя даже самым суровым властным декретом что-то новое здесь создать, можно лишь разрушить.
1. «Систему науки, ориентированную на промышленность, нельзя создать просто так. Ее можно только вырастить.»
Так чтобы выращивать, нужна почва. Вот с её создания и нужно начинать. Для этого нужно создать платёжеспособный спрос на разработки. А для этого нужно сначала разобраться с экономической теорией. К чему я и призываю.
2. «Явно или неявно предполагается, что можно придумать систему, в которой все вдруг заиграет и оживет.»
Вы — первый человек, который приписывает мне подобный оптимистический взгляд на вещи. Абсолютно все люди, меня окружающие, думают строго наоборот.
Про «вдруг» никакой речи нет и быть не может. Потребуется огромная работа. Но её нужно начинать делать сейчас.
3. Что касается квалификации, то на начальном (и длительном, лет в десять) этапе потребуется решать проблемы вроде тех, которые описывал Илья Варшавский:
http://www.oldsf.ru/ilya-varshavskii/kontaktov-ne-budet/iz-nachatoi-avtobiografii.html
Неужели сейчас не найдутся люди для задач такого рода? Ну а тех, кто даже на это неспособен, можно будет целенаправлено переквалифицировать, для чего опять же нужен экономический подъём.
————————————
А когда не будет людей, вынужденных для собственного выживания писать невесть что, какие будут проблемы с закрытием ненужных журналов?
Ведь все обсуждаемые сложности происходят именно от того, что есть люди, которым некуда деваться. Нужно дать им реальный выход — вот и всё.
Да, но Илье Варшавскому был 21 год, а речь идет о людях, которым по большей части под 60 или за 60.
Вы опять не учитываете свойства материала, для вас это люди «вообще», условные единицы. Прежде чем проектировать дом, нужно изучить свойства доступного материала. Из камня можно строить, из песка нет.
А сейчас и не двадцатые годы прошлого века. Техника пошла несколько посложнее.
Привезут какую-нибудь установку с непонятной для аборигенов инструкцией, да ещё с опечатками. Кто будет в ней разбираться?
Или, например, потребуется значительное количество людей, имеющих образование на уровне советского техникума (а не фиктивное, как сейчас). Кто будет им преподавать математику, физику и т.д.?
«А когда не будет людей, вынужденных для собственного выживания писать невесть что, какие будут проблемы с закрытием ненужных журналов? Ведь все обсуждаемые сложности происходят именно от того, что есть люди, которым некуда деваться. Нужно дать им реальный выход — вот и всё.»
Спасибо, давно так не смеялся. Давно не встречал такого наивного идеализма. Реальный выход есть — в дворники. А сложности происходят от того, что у людей есть возможность «для собственного выживания писать невесть что». Пока есть такая возможность, кто ж будет искать другие выходы? Аккурат наука такими людьми переполнена. Которые воспринимают исследовательский институт как собес. Для которых требование, что научный работник должен получать и публиковать свои результаты — наезд на их свободы. А уж необходимость думать, где публиковаться, участвовать в научной конкуренции, и вовсе непосильный труд.
Никакими деньгами и никакими экономическими теориями эту проблему не решить.
1. «Реальный выход есть — в дворники.»
Вы опять исходите из текущей ситуации как из неизменяемой. Наша экономика в первом приближении занимается тем, что обменивает «жидкость на срезе скважины» на ширпотреб. Такой экономике наука почти не нужна. С другой стороны, просто ликвидировать науку — значит понять проблему и признать свою неспособность с ней справиться.
2. «Которые воспринимают исследовательский институт как собес.»
Поэтому из институтов и получился собес.
3. «Пока есть такая возможность, кто ж будет искать другие выходы?»
Сейчас людей фактически выдавливают «на улицу». Естественно, что они отчаянно сопротивляются. Если выдавливать на приличную работу, то усилий потребуется во много раз меньше.
4. «Никакими деньгами и никакими экономическими теориями эту проблему не решить.»
А для того, чтобы появилась приличная альтернативная работа, как раз и нужны сначала экономические теории, а затем и немаленькие деньги.
Вы же видите, что нынешние теоретики произвели схему подъёма высоких технологий через прикладную науку, даже не вспомнив про необходимость платёжеспособного спроса. Эта чистейшая магия украсит любую книгу по первобытной культуре. Именно теоретики требуют от загнанных в угол людей писать всё больше и больше.
Кто будет бороться с этой чепухой?
«Если выдавливать на приличную работу, то усилий потребуется во много раз меньше.»
Вы не понимаете простую вещь. Люди, которые много лет коптят небо в науке и ничего приличного не делают, не будут делать ничего приличного и на другой приличной работе. Вы предлагаете им дать тот же собес в другом месте?
Никакие теории и никакие деньги не решат проблемы, если механизм не работает. Теории остаются на бумаге, деньги уходят в песок. А механизм в данном случае — обратные связи. Влияя на которые, можно систему как-то направлять. В соответствии с потребностями. И придавать ей ускорение за счет вливания денег. А сейчас внутренние механизмы в российской науке практически не работают.
1. «Вы предлагаете им дать тот же собес в другом месте?»
Вы меня не поняли. Я предлагаю дать им посильную и нужную работу и спрашивать с них за исполнение именно этой работы. Мировая практика показывает, что в таких случаях подавляющее большинство людей начинает вполне нормально трудиться. Разумеется, всегда остаётся некая часть, которая ни при каких условиях работать не будет, но это — очень малая часть.
Сейчас от людей требуют не только непосильную, но и абсолютно никому не нужную, более того — вредную работу. Фактически от них требуют создавать информационный шум.
2. «А механизм в данном случае — обратные связи. Влияя на которые, можно систему как-то направлять. В соответствии с потребностями.»
Так с этим я и не спорю. Только обратные связи не могут замыкаться внутри науки.
3. «А сейчас внутренние механизмы в российской науке практически не работают.»
Естественно! Как могут работать внутренние связи в двигателе, отключённом от всех других агрегатов?
——————————-
А для того, чтобы разобраться в проблеме, нужно сначала разобраться в теории.
Те, кто должен был бы этим заниматься, самым очевидным образом не справляются и ведут нас к катастрофе.
«Вы меня не поняли. Я предлагаю дать им посильную и нужную работу и спрашивать с них за исполнение именно этой работы.»
Я вас прекрасно понял. И именно такую посильную и нужную работу предложил. С метлой под надзором бригадира.
«Сейчас от людей требуют не только непосильную, но и абсолютно никому не нужную, более того — вредную работу. Фактически от них требуют создавать информационный шум.»
Это вы не поняли. Как и все, кто не различает научную работу и создание информационного шума. От них требуют реальной работы и доказательств элементарной профпригодности. Но они ничего кроме шума производить не могут. А потому — метла в руки как единственный разумный выход.
«Как могут работать внутренние связи в двигателе, отключённом от всех других агрегатов?»
Попробуйте подумать о том, что обратные связи бывают разного уровня, как внутренние (между компонентами двигателя) так и внешние (между двигателем и другими системами). Прежде чем подключать двигатель к другим агрегатам и начинать рулить, надо убедиться. что двигатель хотя бы крутится.
1. «А потому — метла в руки как единственный разумный выход.»
Так просто, к сожалению, не работает. Пробовали в самых разных странах и в самые разные времена. Приходит пушистый зверёк и вместе с ним шариковы.
2. «…надо убедиться. что двигатель хотя бы крутится.»
В данном случае неизвестно, что считать полезным — крутящий момент или вырабатываемое тепло. На этот счёт есть разные мнения.
Например, Фурсенко считает, что цель — подъём высокотехнологичных отраслей. Вы, насколько я понял, думаете иначе. А ещё куча людей вообще не в состоянии даже поставить перед собой такой вопрос.
Нужно выработать согласованную с реальностью и с представителями налогоплательщиков точку зрения, что возможно исключительно в рамках экономической теории.
Этим и нужно заняться в первую очередь.
Ну какая экономическая теория? Что вы собираетесь создавать? Это элементарные вещи, известные всему миру и использующиеся так же рутинно, как инструкция к микроволновке. Не нужно никакой экономической теории, чтобы элементарно контролировать профпригодность научников и добросовестность журналов. Аккурат разговоры о всяких заумных теориях мешают делать элементарные и всему миру давно понятные вещи. Это просто способ увести любой разговор в небеса и лишить любую проблему конкретики.
«Не нужно никакой экономической теории, чтобы элементарно контролировать профпригодность научников и добросовестность журналов.»
С точки зрения Фурсенко профпригодность отечественных научных сотрудников в конечном счёте определяется степенью подъёма высокотехнологичных отраслей нашей экономики трудами этих самых сотрудников. Следующий шаг по повышению профпригодности в этом смысле — образование вместо РАН многих центров в духе Ковальчука.
Риторический вопрос: Вы с Фурсенко одинаково понимаете профпригодность или всё-таки чуточку по-разному?
Даже если допустить, что реформаторы, как и Вы, ставят на первый план качество статей, то причины этого совершенно различны, потому что для реформаторов подъём качества статей — магическая процедура, единственная цель которой состоит в подъёме промышленности.
Поддерживая их, Вы фактически участвуете в плясках с бубном. Выяснится это на следующем шаге, когда начнётся перегруппировка институтов «под Ковальчука». Тогда Вас ждёт сюрприз.
Я, конечно, понимаю, что Фурсенко с его писаниями в Вашу голову лезть не хочет. Однако вынужден напомнить, что он — советник Президента РФ. Реформа в целом и финансирование в частности идут согласно теоретическим воззрениям, которые выражает именно он.
Поэтому есть только два основных варианта.
1. Игнорировать эти воззрения. Тогда нужно искать иные источники финансирования помимо бюджета. В этом случае от нашей науки почти ничего не останется, а то, что останется, почти целиком эмигрирует.
2. Анализировать эти воззрения и вырабатывать альтернативные.
Третьего варианта нет.
И еще разок. Качество статей есть критерий профпригодности для тех, чей основной продукт — статьи.
Я-то это понимаю. Вы это попробуйте объяснить нашему руководству.
Оно с Вашим мнением не согласно.
Вам нужен пример обратных связей внутри науки? Нет ничего проще. Написал туфту — получил отлуп из хорошего журнала с разгромной рецензией. Получил пять таких отлупов — в дворники. освободи место для другого претендента на звание ученого.
Вы исходите из того, что цель учёного — писать статьи. В СССР была куча учёных, занимавшихся прикладными разработками и статьи почти не писавшими.
По этому вопросу нужен общественный консенсус, который нельзя обеспечить вне определённой экономической концепции.
О боже! Ну нельзя же так. Неужели я еще должен вам объяснять, что это относится к тем, для кого статьи — основной вид продукции?
Я вот тут выписал некоторые темы научно-популярных статей из ТрВ за этот год:
— пасленовые в Гондване
— эсперантизм
— нумизматика
— экзопланеты
— дачи-кошки-птицы
— астрономическая обсерватория в Пулково
— убийства у обезьян
— использование камней обезьянами
— синхроническая лингвистика
— протеи в Южной Африке
— история искусства
— суперсимметрия
— гены сна
Вопрос: за какие заказы какой отечественной промышленности вы хотели бы засадить авторов этих статей и вообще работающих в аналогичных областях? Как это поможет нефтегазовой отрасли, ГЭС, РЖД и другим якобы нерыночным секторам, на которые по-вашему должна работать наша наука?
1. «пасленовые в Гондване» — генетика. Разработка отечественных ГМО.
2. «эсперантизм» — языкознание. Как минимум один из законопроектов, попавших в Совет Федерации, был официально отправлен филологам для перевода на нормальный русский язык. Было бы очень неплохо перевести и все остальные. Куча инструкций также написана так, что понять нельзя. В телевизоре сплошь и рядом говорят не пойми на чём и т.д. и т.п.
3. «нумизматика» — Михаил Гельфанд сам себе работу найдёт — его заставить нельзя.
4. «экзопланеты» — физики, я надеюсь, в рекомендациях не нуждаются.
5. «дачи-кошки-птицы» — это нужно приватизировать и пусть решает рынок.
6. «астрономическая обсерватория в Пулково» — обучение студентов по естественнонаучным специальностям (чтобы микроскоп с телескопом не путали).
7. «убийства у обезьян», «использование камней обезьянами» — генетика+биология+психология.
8. «синхроническая лингвистика» — эти будут работать круглые сутки без выходных, поскольку понадобятся огромные закупки импортного оборудования.
9. «протеи в Южной Африке» — биология (рыбоводство, животноводство и т.п.)
10. «история искусства» — этим нужно начинать работать прямо сейчас, потому что мышление наших реформаторов соответствует периоду, когда в искусстве господствовал символизм. Было бы желательно получить объяснение желанию копировать всё подряд, не глядя ни на какие объективные обстоятельства.
11. «суперсимметрия» — физика. Объяснять нечего.
12. «гены сна» — отбор людей с повышенной работоспособностью.
13. «Как это поможет нефтегазовой отрасли, ГЭС, РЖД…» — химия, физика, математика и прочее — основы этих отраслей. Всем дел хватит.
———————————
Но это всё мелочи и шутки. Не нужно выдумывать из головы никакой работы. Если начать индустриализацию, то куча вопросов появится сама собой. Те из них, которые относятся к нерыночным секторам, попадут в централизованный сектор науки. Остальными будет заниматься рынок.
Управление централизованной наукой должна осуществлять АН. Основная нагрузка — решение проблем, поступивших из промышленности. Фундаментальной наукой занимаются постольку, поскольку есть выигранные гранты. Нет грантов — только задания из промышленности. Чем больше грантов, тем меньше рутинной работы. Объём грантового финансирования регулируется.
Так что общие принципы просты.
Кстати, о шутках. Над подобным утилитаризмом шутили еще при советской власти. У Райкина, что надо балерину к динамо-машине прикрепить, пусть электричество вырабатывает. В «Берегись автомобиля», что Ермолова играла бы гораздо лучше, если бы перед спектаклем отстояла смену у станка. А в «Гараже» предлагалось использовать обезьян для сбора кедровых шишек в тайге и упаковке их в ящики.
Шутки — шутками, но бывали вещи и пострашнее.
Знаменитая летняя сессия ВАСХНИЛ 1948 года, с которой, собственно, официально и началось «лысенкование» биологии, изобиловала высказываниями вроде того, что пока все правильные коммунисты-мичуринцы не покладая рук работали для страны, выводя новые сорта пшеницы и прочих полезных культур, эти гнусные вредители и оппортунисты морганисты-вейсманисты занимались какими-то никчемными мухами дрозофилами, не имеющими значения в народном хозяйстве…
Результат известен. Тотальное отставание в молбиологии, которое уже в начале 1970-х принялись судорожно наверстывать, строя новые институты, и открывая кафедры.
Так вот именно для того, чтобы избежать (насколько это возможно) подобного рода отрицательных эффектов и нужна АН.
Именно поэтому её и нецелесообразно заменять министерством науки.
И кстати, кто защищал генетиков? Ни физики ли из АН под прикрытием Берии?
Что касается взаимодействия с централизовано управляемым сектором экономики, то тут ничего радикально нового изобретать не требуется. К 80-м годам сложилась вполне приличная конструкция: те же железные дороги собирали свои проблемы в ведомственных институтах (типа ЦНИИ МПС), а уже ведомственные учреждения формулировали задачи для АН СССР.
Здесь всё основное уже давно придумано и опробовано. Нужно грамотно применять.