Итак, свершилось. Тест Тьюринга пройден. В «рецензируемом» «научном» журнале, входящем по ряду дисциплин в рекомендательный список ВАК, опубликована статья, написанная (по-английски) компьютерной программой и переведенная на русский язык другой программой.
Если честно, впервые этот тест был пройден не нами и не сейчас. Программа SCIgen, генерирующая псевдонаучные тексты, была написана несколько лет назад группой студентов Массачусетского технологического института с целью проверить качество рецензирования на (псевдо)научных конференциях, в первую очередь на конференциях серии WSEAS — наверное, многие из читателей ТрВ получали спам от их организаторов [1].
Сайт SCIgen [2] рассказывает о трех случаях, когда порожденные программой статьи были приняты на конференциях, и одном, когда статья была принята к публикации в журнале, -впрочем, в последнем случае конфуз был вовремя замечен редакцией и поправлен с извинениями главного редактора [3].
Однако мы, как сейчас принято говорить, превзошли мировой научный уровень. Мы взяли оригинальную статью авторов программы (чтобы заодно проверить, обнаружит ли рецензент прямой плагиат), перевели ее на русский язык при помощи программы ЭТАП-3, разработанной в Лаборатории компьютерной лингвистики ИППИ РАН [4], и отправили на публикацию в «Журнал научных публикаций аспирантов и докторантов». И — в отличие от предшественников — получили рецензию (см. ниже). Поскольку в рецензии содержались замечания редакторского характера, потребовалась небольшая переработка, после которой статья была принята и вскоре опубликована. Вся процедура заняла чуть больше месяца:
6 августа — статья подана в журнал;
7 августа — получено уведомление о получении и просьба оплатить публикацию;
8 августа — отправлено уведомление об оплате;
11 августа — получено уведомление об отправке статьи на рецензию;
13 августа — получена рецензия;
15 августа — отправлен переработанный вариант статьи;
15 августа — статья принята к публикации в августовском номере;
2 сентября — получено уведомление о высылке по почте авторского экземпляра;
10 сентября — статья опубликована на сайте журнала. Ура!
РЕЦЕНЗИЯ
рукописи научной статьи: Корчеватель: Алгоритм типичной унификации точек доступа и избыточности, Жуков Михаил Сергеевич
Актуальность работы: высокая
Выбор объекта исследования: правильный
Определение задач и целей работы: логичное
Новизна научного материала: отличная
Степень разработанности темы: достаточный
Структурированность работы: хорошая
Методическая ценность: отличная
Стиль изложения: неудовлетворительный
Практическая эффективность: отличная
Источниковедческая база работы: отличная
Замечания рецензента: Рукопись статьи произвела на меня двоякое впечатление; с одной стороны, следует признать, что материал собран методически грамотно, в работе присутствует новаторство и новизна. С другой стороны, автор статьи, видимо, недостаточно хорошо знаком с правилами по подготовке научных статей в печать. По тексту рукописи я отметить множество стилистических и редакционных недочетов, а то и погрешностей, которые создали у меня впечатление какой-то незавершенности работы.
Заключение рецензента: Статья может быть напечатана в журнале после ее серьезного редактирования.
Ниже мы приводим некоторые редакторские замечания, сделанные непосредственно в теле статьи, ровно в том виде, как они выглядят в возвращенном из редакции на доработку файле.
Известно, Кому известно? что оценка веб-браузеров невозможна без управления переполнением. С другой стороны,лишь немногие специалисты в области информатики возражают против существенной унификации передачи голоса в Интернет-телефонии по схеме общее-частное. Для того, чтобы разрешить это противоречие, мы показываем, что SMPs может быть сконструирован как стохастический, кэшируемый и вкладываемый. Реферат слабый <…> Обычные методы эмуляции Smalltalk, проложившего путь для исследования растрирования, в этой области неприменимы [Gayson, 2002]. Хотя многие утверждают, что на этот вопрос отвечает исследование точек доступа [ например, Kaashoek et al., 2002], мы считаем, что необходим другой подход. <…>
Метафорически, наш подход превращает кувалду связей базы знаний в скальпель Стиль изложения может быть хорош для газетной статьи, не для научной!. В настоящем исследовании мы сосредоточиваемся не на том, являются ли симметричное шифрование и экспертные системы в существенно несовместимыми, но скорее на том, что предлагаем новые гибкие симметрии (Корчеватель). <…> Следовательно, мы не Редакция текста! видим никаких причин игнорировать электронные модальности как одно из средств для оценки улучшения иерархических баз данных.
План статьи состоит в следующем Стиль!. Сначала мы обосновываем потребность в волоконно-оптических кабелях. Мы помещаем нашу работу в контекст предшествующих исследований в этой области. Чтобы обойти упомянутые выше возражения, мы приводим пример, показывающий, что, хотя напряженный автономный алгоритм создания цифро-аналоговых преобразователей Джоунза NP-полон [Jones, 1995], объектно-ориентированные языки могут быть сделаны децентрализованными и подписанными (signed).
15 сентября 2008 г.: Письмо от Джереми Стриблинга, автора исходного розыгрыша
Hi Mikhail,
This is fantastic, thanks for letting us know!
The reviews are great, and I especially enjoy
that the «setting aims» are «logical», but
somehow the «style» is «non-satisfactory». The
style seems perfectly satisfactory to me. I guess
there’s no accounting for taste.
I defi nitely support what you’re doing, and you’re
free to use the text of the Rooter paper however
you like (I don’t even know what copyright claims
one can make about a randomly-generated paper).
I won’t make any mention of the story on our site
until you tell me it’s ok to do so.
Feel free to quote anything above, or I’m happy
to answer more specifi c questions if you have
them. Please continue to update us on this.
Thanks, and congratulations on your publication,
Jeremy
Начало
Но, конечно, началась эта история гораздо раньше, 5 июля 2006 г., когда 32-летний адвокат из Курска Владимир Владимирович Иванов зарегистрировал «Журнал научных публикаций аспирантов и докторантов». В качестве адреса редакции он указал тогдашний адрес своего адвокатского кабинета (сейчас оба изменились, но по-прежнему совпадают). Хотя нет, еще раньше было зарегистрировано ООО «Редакция Журнала научных публикаций аспирантов и докторантов». А первая статья поступила в редакцию 16 мая 2006 г. И еще раньше надо было все это придумать.
Как бы то ни было, после получения свидетельства В.В.Иванов начал заниматься рекламой. Он регистрировался под различными никами на форумах разных вузов и публиковал сообщения о журнале (вообще говоря, мы не можем со всей определенностью утверждать, что «Владимир7773», «vlad7773», «Владимир из Курска» — это В.В.Иванов, однако интересно, что на сайте «Адвокатура в России» его страничка имеет адрес http://www.advokatrus.ru/advocate/vlad7773/).
Некоторые из этих сообщений носили чисто информационный характер, но большинство содержали ссылки на собственный аспирантский опыт. Надо ли говорить, что ни статей В.В.Иванова в издаваемом им журнале, ни сведений о его учебе в аспирантуре обнаружить не удалось.
В ноябре 2006 г. на одном из форумов (ИжГТУ) его спросили, входит ли рекомендуемый журнал в список ВАК, т.е., засчитываются ли публикации в нем при защите диссертаций. «Нет», — честно ответил «vlad7773» и начал принимать меры. Через восемь месяцев, в июле 2007 г., журнал вошел-таки в «дополнительный» список ВАК.
Веселый день на форуме scientific.ru
В 5 утра 19 октября 2007 г. (время существенно!) «Александр» спросил у участников форума, слышали ли они что-нибудь про «Журнал научных публикаций аспирантов и докторантов», и привел пару примеров сомнительных, с его точки зрения, публикаций. Участники не слышали и потому принялись просматривать списки публикаций по своим дисциплинам. Там нашлась масса интересного. «Эфенди» составила статистику публикаций по направлениям (см. таблицу).
В 12:39 на сайте появилось сообщение от «Владислава», указавшего уже знакомый читателю адрес [email protected]: «С удивлением прочитал вышеприведенные отзывы, т.к. сам публиковался в данном журнале и у меня остались о нем хорошие впечатления. По крайней мере, когда мне не хватало статьи для выхода на защиту в оперативной публикации мне помогли именно там. Каких либо претензий к моей публикации в данном журнале у диссертационного совета тоже не возникло. То что за размещение статей берут небольшие деньги (кстати, по своему опыту могу сказать, что публикация в ВАКовских экономических изданиях стоит 20-30 тыс. руб.!) вполне понятно, т.к. нужно же людям покрывать накладные расходы. И вообще вся это дискуссия сильно напоминает попытку очернительства и недобросовестную конкуренцию менее успешных околонаучных изданий не вошедших в ВАКовский список» (сохранена орфография и грамматика оригинала). В ответ на вопрос, рецензировалась ли эта статья и кем, в 13.27 последовал ответ: «Представьте себе, рецензировалась и даже направлялась мне на доработку с учетом полученной рецензии д.э.н.», после чего «Алексей» заметил: «Мне не удалось найти Вашу статью, если, конечно, Владислав это Ваше настоящее имя»
В 14.16 участники форума обратили внимание, что статьи, которые они упоминали, стали исчезать с сайта. Так, бесследно пропали статья автора из Нижневартовска про распределение цезия в почвах Москвы (нам не удалось восстановить, как она называлась) и статья А.А.Букова «Закон всемирного выдавливания» (а ведь это была самая первая статья, опубликованная в физическом разделе журнала, – впрочем, в этом случае наука ничего не потеряла, поскольку этот Закон обильно представлен в Интернете; интересующиеся благоволят найти его самостоятельно). Еще одна статья, «Периодическая система чисел», осталась на сайте, но исчезла из списка публикаций по математике. Из обсуждавшихся на форуме статей остались в неприкосновенности «Концептуальный анализ пассажирского ва- гона» по разделу филологических наук, «Адаптация российского балета к новым социально-экономическим условиям» по экономике и ряд других.
А в 15.08 уже в другой ветке форума, после как-бы-обсуждения между «Физиком-ядерщиком» и «Наукоградом», администратор scientific.ru написал в ответ последнему: «Я не сильно ошибусь, если назову Вас Владимиром Владимировичем (Ивановым)? Как минимум, можно констатировать, что сообщения под никами «Владислав», «Физик– ядерщик», «Наукоград», «Кирилл» и «Максим» (удалено как спам) написаны одним человеком – из Курска. Я понимаю – бизнес, но и Вы поймите – такие коммерческие проекты, как Ваш, напрямую ведут к разрушению научной среды, так что не рассчитывайте на то, что научные работники будут их приветствовать. Лучше, наверное, заняться каким-нибудь другим бизнесом». Но не таков наш герой, чтобы не оставить за собой последнее слово. Ник «ПУТИН» ответил на это: «Вы почти правы, я действительно Владимир Владимирович, только Путин. Разряжаюсь на этом сайте после вчерашней прямой линии».
Выученный урок
Следует отдать должное В.В.Иванову – он учится на своих ошибках. Вот и этот разговор многому его научил. На следующий же день он поместил заметку о своем журнале на сайте «В помощь аспирантам», где пригласил желающих к участию в редакционном совете [5]. Впрочем, и в этом интервью содержится маленькая неправда: «Следует так же отметить неукоснительное соблюдение обязательств Редакции Журнала перед своими авторами – за весь период деятельности Журнала не было ни одного случая возникновения какого-либо сбоя, что в первую очередь обеспечивается скоординированной работой сплоченной команды единомышленников, сотрудников Редакции» (орфография автора), – интересно, что думают об этом авторы удаленных статей. Вскоре на сайте журнала появилось указание на то, что публикуемые статьи рецензируются, и список членов новообретенного редакционного совета. Бизнес тем временем процветает. В октябре 2007 г. – за первый год существования журнала – в нем было опубликовано 273 статьи. Сегодня (13 сентября 2008 г.) их уже 799, да и сами публикации подорожали: теперь страница стоит уже не 200, а 250 рублей, это если без формул. Еще 100 рублей за страницу берется за рецензирование (хотели – получите!). Получается никак не меньше одной-двух тысяч за статью («Корчеватель» стоил четыре с половиной). За год – минимум полмиллиона, а, скорее, ближе к миллиону. Не так много на всю «сплоченную команду единомышленников», но все же кое-что, хлопот-то практически никаких. А чего стоит этот журнал и его рецензирование, показал наш эксперимент.
Примечания и ссылки
1. Раздражение от этого спама привело к подаче на одну из WSEASовских конференций следующей замечательной работы: D.Maziéres, E.Kohler. Get me off Your Fucking Mailing List (http://www.scs.cs.nyu.edu/~dm/remove.pdf). Впрочем, эта статья принята не была.
2. http://pdos.csail.mit.edu/scigen/
3. R.Mosallahnezhad. Cooperative, compact algorithms for randomized algorithms. Applied Mathematics and Computation. 2007 (http://dx.doi.org/10.1016/j.amc.2007.03.011).
4. Л.Л.Иомдин. Уроки машинного перевода для детей и взрослых. «Лингвистика для всех. Зимняя лингвистическая школа-2004». Москва: НИИРО, 2004. С. 56–68 (http://proling. iitp.ru/etap/index.html).
5. http://www.aspirinby.org/index.php?go=News&in=view&id=84.
P.S. На всякий случай, надо сказать, что в этой статье мы допустили небольшое преувеличение. В классическом тесте Тьюринга «судья» знает, что его собеседником может быть компьютер. В нашем случае редакция этого, по-видимому, не предполагала. Впредь будут умнее.
P.P.S. Пока верстался этот номер, на форуме «Бытие российской науки» сайта Scientific.ru совершенно независимо разгорелось очередное бурное обсуждение «научных публикаций», обнаруженных в ЖНПАиД…;
1 Comment