Наукометрия в лингвистике: попытка критериев

1. Как и в любых науках, в лингвистике, разумеется, применимы количественные методы.

В лингвистике представлены как дедуктивные, так и индуктивные приемы рассуждения, однако по преимуществу лингвистика является эмпирической (а не дедуктивной) наукой, т.е. имеет дело с объектом, существующим более или менее независимо от познающего субъекта и развивающимся по своим законам, которые выявляются путем эксперимента или наблюдения.

Из всех эмпирических гуманитарных наук лингвистика ближе всего стоит к естественным наукам, так как отдельный индивид (будь он даже сколь угодно властным тоталитарным вождем или великим поэтом-словотворцем) не в силах ни создать новую естественную языковую систему (как средство обыденного общения) исторически сформировавшегося коллектива, ни уничтожить существующую естественную языковую систему (как средство обыденного общения), ни заменить одну естественную языковую систему на другую. Точно так же обстоит дело с составляющими языковую систему базовыми языковыми единицами и правилами их употребления: индивид не в силах ни создать, ни уничтожить базовую языковую единицу или правило, ни заменить одну базовую единицу (или правило) на другую.

Очевидно, что некоторые предметы лингвистического исследования обладают количественными параметрами (назовем их «измеримыми») и, стало быть, вполне допускают применение к ним квантитативных методов исследования. Некоторые из этих параметров носят металингвистический характер и потому вполне допускают успешное применение наукометрических методов для их исследования (назовем их «наукометри-чески измеримыми») [Крылов, 2013].

Так, поддается численной оценке качество работ по сравнительно-историческому языкознанию — этимологических словарей и сравнительно-исторических грамматик, содержащих фонетическую и морфологическую реконструкцию. Правда, это несколько трудоемко, но дает интересные для самого сравнительно-исторического языкознания результаты. Метод предложен [Дыбо, Норманская, 2012] и обкатан на десятке таких работ. На основании такой оценки легко обнаруживаются «узкие места» реконструкций, на доработку которых следует направить основные усилия.

2. Индексы цитирования.

Объективность уже существующих индексов для лингвистики сомнительна, прежде всего, по совершенно понятным причинам.

A). В Web of Science и в Scopus очень слабо представлены профильные журналы. Часто приходится слышать жалобы на отсутствие там русскоязычных журналов; но там нет и многих известных и высокостатусных лингвистических журналов на немецком, испанском, французском, венгерском, польском языках — журналов, в которых стремился напечататься каждый специалист, пока лет 15 назад европейскую науку не накрыла волна «погони за Хиршем» (каламбурно выражаясь, Hirschjagd в буквальном переводе с немецкого — «охота на оленя»).

Б). Публикации в непрофильных журналах, даже с очень высоким рейтингом, часто не соответствуют никаким критериям. Так, за последние 10 лет в Nature и Science было несколько совершенно скандальных публикаций по языкознанию [ср. Gray, R. D. and Atkinson, Q. D. (2003), Atkinson (2011), Bouckaert, R., Lemey, P., Dunn, M., GreenhiU, S. J., Alekseyenko, A. V., Drummond, A. J., Gray, R. D., Suchard, M. A., & Atkinson, Q. D* (2012), Joyce (2012)], причем об их антинаучном характере и необходимости в дальнейшем более адекватного рецензирования писали в редакции журналов и наши, и американские ученые — ответа не было.

B). Языкознание (особенно частное) в весьма значительной степени национально: о массе языков пишут только (или почти только) на определенных языках. (Так, тюрколог и монголист обязаны читать и писать по-русски и по-венгерски; африканист— по-французски; индонезист — по-голландски; специалист в любой ветви сравнительно-исторического языкознания — по-немецки. Кроме того, конечно, тюрколог должен читать и писать по-турецки, монголист по-монгольски.)

Г). Попробуем использовать для российских лингвистов широко рекламируемый сейчас РИНЦ. Тут же выясняется, что помимо того, что его база данных пока довольно сырая и неотредактированная, имеются и принципиальные недостатки. Во-первых, тот индекс Хирша, который автоматически выдает сейчас РИНЦ, не учитывает ссылки на монографии и в монографиях (более того, он ограничивается учетом ссылок только в тех журналах, которые внесены в базу РИНЦ). Между тем, монографии традиционно считаются для лингвистики, как у нас, так и за рубежом, более важными. Действительно, в доказательной работе по лингвистике принято новые положения подтверждать серьезным языковым материалом, т.е. нужен довольно большой объем публикации, а в журналах объем ограничивают. Во-вторых, сейчас в РИНЦ представлены работы за достаточно узкий период времени, фактически последние 15 лет. И сам индекс Хирша по своему смыслу отражает способность ученого равномерно производить «модные» работы.

3. Из опыта работы в языкознании естественно вытекает следующий оценочный критерий: если работа используется через полвека и более после написания, то она является действительно важной для научного процесса (это условие достаточное, но не необходимое). Если пользоваться этим критерием, то оказывается, что можно, не ожидая полувека, сразу автоматически считать важными работы следующего рода: словари; описания диалектов языков; описательные грамматики редких языков; исторические грамматики языков; большие академические грамматики языков. Форма таких работ — обычно монография, индивидуальная или коллективная (но словари по традиционной библиографической классификации не считаются даже монографиями). Это работы по описательной (эмпирической) лингвистике, в которых содержится вновь вводимый в научный оборот языковой материал.

Отметим, что, с одной стороны, работы такого рода с середины 60-х годов XX века считаются «недиссертабельными». То есть, если вы написали, например, словарь или описали какой-то диалект, то не можете защитить эту работу как квалификационную1. Но, с другой стороны, именно такие работы — номинанты и лауреаты больших государственных и академических премий.

Вот некоторые примеры работ лауреатов таких премий: 17-томный Академический словарь русского языка (1970), Академическая русская грамматика (1982), Индоевропейский язык и индоевропейцы (1985), Диалектологический атлас русского языка (1996), Лингвистический энциклопедический словарь (1997), Древненовгородский диалект (2007).

Разумеется, в подсчете индекса Хирша по РИНЦ такие работы не участвуют.

Еще один пример: голосования в небольшом частном фонде — Фонде поддержки фундаментальных лингвистических исследований. Экспертов фонда шесть человек, все — известные лингвисты, притом люди, чрезвычайно разные по своим научным интересам и вкусам. Голосование производится так: каждый эксперт независимо проставляет каждой заявке оценку от 0 до 3, потом для каждой заявки считается суммарный балл и принимаются заявки с баллом не меньше некоторой величины, так, чтобы на данное число заявок в фонде ушла определенная сумма. Обычно ни у одной пары экспертов сколько-нибудь существенно оценки не совпадают. Фонд работает в течение трех лет. Из таблиц поддержки за три года (см. в электронной версии статьи) видно, что все три года в верхний регистр в основном попадали исследования из вышеописанной «эмпирической» категории — полевые исследования и электронные базы данных.

5. Кроме частной «эмпирической лингвистики» — науки, делающей в основном высказывания из разряда «фальсифицируемых» и даже, как мы упомянули вначале, отчасти поддающейся численной оценке качества, — существует теоретическая общая лингвистика, которая «изучает общие (статистически преобладающие) черты всех языков как эмпирически (индуктивно), так и дедуктивно, исследуя общие тенденции функционирования языка, разрабатывая методы его анализа и давая определение лингвистических понятий» (http://traditio-ru.org/wiki/Лингвистика). Как оценить работы, написанные преимущественно дедуктивно, в жанре внесения в языкознание новых идей, не сопровождающиеся значительным подтверждающим материалом? Конечно, через 50 лет станет понятно, какие из них внесли нечто действительно важное и до сих пор используемое наукой (отчего эти работы будут продолжать упоминаться). Но пока не удалось вывести объективные критерии, по которым было бы можно предсказывать работе ту или иную судьбу.

Отметим еще, что ученые, пишущие такие работы, в рейтинге всегда выше по индексу Хирша, чем чистые «эмпирики», хотя бы потому, что любая статья, которая делается в связи с защитой диссертации, требует по регламенту так называемого теоретического введения, которое и состоит из ссылок на работы по общему языкознанию². При этом в данной области действует очень сильно критерий «моды», далеко не все направления теоретического языкознания выживают больше 20-30 лет.

6. Можно предложить такой общий подход к наукометрически измеримым аспектам лингвистики.

К наукометрически измеримым элементам относятся, в частности, авторы (персоналии).

К числу НМИ-параметров принадлежат: (I) объективно измеримые: (I’) «актуальность»; (I») «употребительность»; и (II) субъективно измеримые: «важность».

¹ Это приводит иногда к печальным последствиям. Пример: в 90-е годы один действительно крупный специалист по одной группе языков алтайской семьи написал несколько прекрасных больших словарей одного языка из этой группы. Всем было ясно, что он достоин считаться доктором наук после этих работ. Но ему пришлось ради защиты написать теоретическую работу по устройству грамматики этого языка. Работа оказалась довольно плохой, не учитывала достижений теоретического языкознания в этой области за последние 70 лет или больше, теоретические построения выглядели в большой степени нелогичными и бездоказательными. Один из авторов настоящей статьи был одним из оппонентов этой диссертации. На защите все оппоненты и председатель диссертационного совета высказались в том смысле, что работа не соответствует требованиям, предъявляемым к докторской диссертации, но автор, несомненно, заслуживает докторской степени. Он ее получил. К сожалению, после этого он получил и возможность воспитывать аспирантов в русле своей «теории», которую, конечно, «выстрадав», начал ценить. Аналогичных случаев известно довольно много.

² А поскольку работы по общему языкознанию могут содержать упоминания отдельных языковых фактов, то часто происходит цитирование «из вторых рук», когда ссылка на эмпирический факт приводится не по частной эмпирической работе, а по общетеоретической, сославшейся на частную эмпирическую. Другой феномен «теоретических введений», на который обратил наше внимание крупный тюрколог И.В.Кормушин, — «много формальных ссылок на ведущих специалистов, будущих оппонентов, членов диссоветов и т.п. подхалимаж, назовем это неконструктивным цитированием. Формально конструктивное от неконструктивного цитирования не отличить» (из личного письма).

Если набор источников обследования охватывает относительно непротяженный синхронный срез (лучше всего — подборку научной прессы за такой-то год или десятилетие),то мы получаем данные об «актуальности» предмета для данного синхронного среза.

Если же мы хотим получить данные об «употребительности», то мы должны охватить источниками как можно больше разных сихронных срезов и проинтегрировать (просуммировать) данные, полученные из анализа этих срезов. Изучение научной прессы за весь период существования данной науки (в нашем случае — лингвистики) затруднено рядом обстоятельств. Но зато хорошим средством наукометрической оценки употребительности является анализ «кумулятивных» текстов, т.е. (а) энциклопедий (общих и специальных); (б) учебников по данной науке (и по ее разделам) и (в) учебников по истории данной науки (и ее разделов).

Актуальность имен — это их «модность»; употребительность имен — это их «знаменитость»; важность имен — это их «за-служенность» (ценность).

«Модность» персоналий — это количество ссылок на них в научной прессе определенного периода; «знаменитость» персоналий — это количество их упоминаний в именных указателях к репрезентативной выборке кумулятивных текстов. «Заслуженность» (=«ценность») персоналий может быть определена лишь путем опроса лингвистов, составляющих «экспертную группу» (E). Объем E не должен быть ни слишком маленьким (для минимизации случайностей), ни слишком большим (чтобы опрос стал реально выполнимой задачей), например 10< E<100.

Экспертную группу Е можно формировать на основе НМИ-параметров. Разумно и целесообразно использовать для решения этой задачи знаменитость персоналий (лингвистов).

7. Соответственно, для получения списка «знаменитых» персоналий (например двух десятков) мы, исходя из вышеупомянутого критерия, должны сделать выборку из кумулятивных текстов, объединивших сведения не менее чем за 50 лет. Но это реально дает нам экспертную группу (из двух десятков) в возрасте примерно от 70 лет и старше (обычно первые публикации появляются у лингвистов в возрасте около 20 лет). Такой группе и следует, по-видимому, доверить определение «заслуженных» (= «ценных») персоналий, она же, очевидно, должна распоряжаться материальными средствами для поддержки «ценных» исследований «заслуженных» ученых.

Знаменитость лингвистов представима в виде ранговых таблиц (см. таблицы 4, 5). Это база данных персоналий, входящих в именные указатели к основным лингвистическим энциклопедиям и учебникам3. Из этой базы можно автоматически выбирать «топ-группы» заданного объема с рейтингом не ниже заданного порогового числа. Рейтинги измерены по двум сотням именных указателей (внутри одного рейтинга персоналии упорядочены по алфавиту, поэтому ранги даются без ранговых диапазонов). Факт вхождения в именной указатель к какому-либо кумулятивному тексту засчитывался за 1 балл (1 голос). 

³ В настоящий момент эта база данных, составленная С.А. Крыловым, обнаруживает явный перекос в сторону энциклопедий по общему языкознанию, русистике и славистике (работа облегчалась тем, что именные указатели в таких работах обычно были). Предполагается исправить указанный перекос, сбалансировав набор наукометрических источников. Автор собирается это сделать, внеся в базу данных именные указатели таких изданий, как «Языки народов СССР», «Языки Азии и Африки», «Языки мира», «Государственные и титульные языки России», «Красная книга языков народов России», «Государственные языки в Российской Федерации», «Письменные языки мира. Языки Российской федерации», «Языки народов Российской Федерации и соседних государств» и т.п., а также коллективных монографий «Сравнительная грамматика германских языков», «Историко-типологическая морфология германских языков», «Сравнительно-сопоставительная грамматика романских языков», «Основы финно-угорского языкознания», «Основы иранского языкознания», «Сравнительно-историческая грамматика тюркских языков» (и большую часть этих указателей еще только предстоит составить, чем и объясняется вышеуказанный дисбаланс на сегодняшний день).

Знаменитость ныне живущих лингвистов наглядно предста- вима таблицей 5. Из общей базы данных персоналий была ав­томатически выбрана «топ-группа» из 42 человек с рейтингом не ниже 19 (только ныне живущие лингвисты, из них пример­но поровну иностранных и отечественных).

Любопытно отметить, что полученная автоматически из указан­ной базы данных «топ-группа» из 42 человека (с рейтингом 19 и выше), как оказалось, включает в качестве подмножества весь со­став членов ОИФН РАН — лингвистов старше 75 лет. В этом нетруд­но убедиться, просмотрев пятый столбец («регалии») таблицы 5.

Gray, R. D. and Atkinson, О. D. Language-tree divergence times support the Anatolian theory of Indo-European origin // Nature, 426: 435-9 (2003).

Atkinson, Ouentin D. Phonemic Diversity Supports a Serial Founder Effect Model of Language Expansion from Africa // Science 332, 346 (2011).

Bouckaert, R., Lemey, P., Dunn, M., Greenhill, S. J., Alekseyenko, A. V., Drummond, A. J., Gray, R. D., Suchard, M. A., & Atkinson, O. D. Mapping the origins and expansion of the Indo-European language family // Science, 337:957-960. (2012). www.sciencemag.org/content/337/6097/957

Joyce, A. A Turkish origin for Indo-European languages/ Disease-mapping methods add geographical history to language family tree // 23 August 2012 www.nature.com/news/a-turkish-origin-for-indo-european-languages-1.11270#/b1

Дыбо А.В.; Норманская Ю.В. К методике сравнения этимологических работ — ВЯР 7: 2012 — стр. 119-135

Крылов С. А. Применение наукометрических методов к предметной области «Лингвистика» // http://rasconference.ru/search.html

Анна Дыбо, ИЯз РАН
Сергей Крылов, ИВ РАН