Троянское обучение в среде «Вредные пчелы»

Александр Поддьяков
Александр Поддьяков

Даже насекомые (пчелы, шмели и мухи) могут обучать и учиться друг у друга [1]. При этом чем выше уровень организации живого существа, тем оно способнее и к сложным обучающим воздействиям, и к эгоистическим манипуляциям по отношению к другим. В ряде случаев цель обучающих воздействий — как раз эгоистическая манипуляция. Я назвал это явление троянским обучением [2]. Это обучение другого — со скрытыми, не декларируемыми целями — тому, что для него невыгодно, вредно, опасно, но отвечает интересам организатора обучения (термин построен на метафоре троянского коня). Примеры троянского обучения отражены в разнообразных формах фольклора (в сказках разных народов, сходных по сюжету с русской, в которой лиса учит волка ловить рыбу на собственный хвост в проруби; в актерских рассказах о ложных инструкциях молодому актеру со стороны опытного, ведущих к смешным ситуациям на сцене; и т. п.), в описаниях обучения в финансовых пирамидах, взаимодействий между конкурентами в студенческой среде, в офисной среде, бизнесе и т. д. Термин стал использоваться специалистами [3, 4, 5].

Из забавных, но важных примеров следует упомянуть исследование, в котором дошкольников четырех — шести лет учили (не троянски) обращению с несложной технической игрушкой. Потом ребенку предлагали:

а) показать кукле, как работает это устройство, чтобы она поняла указание;

б) подшутить над куклой — показать ей, как работает это устройство, чтобы она поняла это неправильно.

Оказалось, что дети и принимают задачу этого обманного обучения (готовы ее выполнить), и придумывают его ходы [6]. (А во взрослом возрасте всё может быть уже не так шутливо.)

Клеточный автомат «Вредные пчелы»

Конструируя модели троянского обучения, я разработал клеточный автомат. Под клеточным автоматом понимается математическая модель пространства, состоящего из множества ячеек (клеток), каждая из которых может находиться в любом из заданного множества состояний и переходить в другие состояния под влиянием соседних клеток в соответствии с установленными правилами перехода. Несмотря на простоту правил взаимодействия клеток между собой, клеточные автоматы демонстрируют неожиданные эффекты самоорганизации исходных элементов, возникновения из хаоса сложноорганизованных структур, их упорядочивания, развития и гибели [7].

В моем автомате моделируется три типа социальных взаимодействий интеллектуальных агентов:

а) помощь одного агента другому, после которой последний начинает принимать более правильные решения;

б) блокирование третьим агентом оказания этой помощи;

в) троянское обучение (агент учит вредному — ухудшает важные характеристики поведения другого агента, побуждая того принимать неправильные решения).

Агенты: виртуальные «пчелы» трех видов. Внутри каждого вида — опытные «пчелы» (агенты, способные воздействовать на других) и молодые (объекты воздействия). «Пчелы» летают по полю, питаются нектаром и конкурируют за этот ресурс.

«Ниша проживания»: поле размером 200×200 клеток, с цветами. Каждый цветок может пребывать в двух фазах: а) фазе, когда он продуцирует полезный нектар; б) фазе продуцирования снотворного, усыпляющего «пчелу» на d раундов. Опытные «пчелы» правильно распознают фазы и пьют то, что им надо. Молодые действуют случайным образом. Проспав k раз подряд или оставшись без нектара t раз подряд, «пчела» умирает.

Правила взаимодействия «пчел»

Опытная «пчела» в каждом раунде осматривает свою «сферу влияния» (ее размер регулируется экспериментатором) и при обнаружении молодой «пчелы» своего вида обучает ее распознавать живительную фазу; при обнаружении молодой «пчелы» второго вида — «троянски» обучает ее пить из цветка в снотворной фазе (жесткая конкуренция); а при обнаружении пары «опытная — молодая» третьего вида блокирует обучение в этой паре, не занимаясь «троянством» (умеренная конкуренция). Если молодая «пчела» оказывается в радиусе действия опытной «пчелы» своего и чужого вида, она подчиняется влиянию «пчелы» чужого, а не своего вида. Молодая «пчела», отпившая нектар n раз подряд, становится опытной, рождает молодую и обучает ее.

Отношения влияния между видами — по принципу нетранзитивной конкуренции (камень — ножницы — бумага): А «троянит» В, В — С, С — А; А противодействует взаимопомощи С, В — А, С — В. Выбор этой схемы обос­нован широкой представленностью нетранзитивной конкуренции в мире живого, являющейся одной из основ поддержания биоразнообразия [8, 9].

Цель исследования: сравнить численности и пространственные распределения популяций этих интеллектуальных агентов при разном радиусе троянского обучения, а также при его отсутствии (изучение эффектов блокировки чужого обучения как стратегии умеренной конкуренции я здесь не проводил).

Поскольку модель имеет много параметров, которые может изменять экспериментатор (насыщенность среды цветами; время их пребывания в полезной для «пчел» и ядовитой фазе; максимально возможная продолжительность жизни «пчелы»; средняя дальность перелета, ведущая к разной степени перемешивания агентов на каждом шаге; и т. д.), то она не претендует на обобщенность. Задачей было показать сам факт того, что радиус троянского обучения может иметь значение.

Результаты моделирования

Исходное состояние: по 30 опытных и по 30 молодых «пчел» каждого вида, случайно разбросанных по полю (всего 180). После запуска взаимодействий начиналась динамика, результаты которой после 500 цик­лов показаны на рис. 1.

Рис. 1. Численности и пространственные распределения популяций интеллектуальных агентов при разном радиусе троянского обучения, а также при его отсутствии: а) три исходные группы «пчел» на начальном этапе; б) вид популяций после 500 циклов взаимодействий, в которых была только помощь в обучении внутри своего вида (без троянского обучения); в–е) то же — при введении троянского обучения с радиусом R клеток. Темно-красным цветом обозначены опытные «пчелы» одного вида, светло-красным — молодые того же вида; темно-синим — опытные «пчелы» второго вида, голубым — молодые того же вида; коричневым — опытные «пчелы» третьего вида, желтым — молодые того же вида. Исходный цвет поля без «пчел» — черный (цветы не показаны). N — общая численность трех популяций
Рис. 1. Численности и пространственные распределения популяций интеллектуальных агентов при разном радиусе троянского обучения, а также при его отсутствии:
а) три исходные группы «пчел» на начальном этапе;
б) вид популяций после 500 циклов взаимодействий, в которых была только помощь в обучении внутри своего вида
(без троянского обучения);
в–е) то же — при введении троянского обучения с радиусом R клеток.
Темно-красным цветом обозначены опытные «пчелы» одного вида, светло-красным — молодые того же вида; темно-синим — опытные «пчелы» второго вида, голубым — молодые того же вида; коричневым — опытные «пчелы» третьего вида, желтым — молодые того же вида. Исходный цвет поля без «пчел» — черный (цветы не показаны). N — общая численность трех популяций

Можно видеть, что при наличии только помощи в обучении внутри своего вида (без троянского обучения со стороны другого) численность популяций максимальна, продуцируется равномерное распределение всех трех видов «пчел». На любой, даже небольшой, площадке представлены все три вида — пространственных кластеров по видовому признаку нет.

При введении троянского обучения, по мере увеличения его радиуса, появляется и усиливается пространственная кластеризация — она возникает даже при минимальном радиусе (в одну клетку), кластер состоит из агентов одного вида. Численность популяций снижается: из-за растущего «дальнодействия», «дальнобойности» троянского обучения становятся шире «мертвые зоны» — каналы и площадки между кластерами, всё больше «пчел» гибнет в результате троянского обучения. Растет число случаев, когда два вида вымирают, и остается один победитель. На изображениях видно, что в «арьергарде» (впячиваемой стороне кластера) больше опытных «пчел», т. к. молодые там не выживают из-за давления «троянящих» «пчел» вида-конкурента. В «авангарде» (выпячиваемой стороне кластера) молодых больше, т. к. там нет этого давления и условия размножения лучше, чем на других участках кластера. Эти эффекты более заметны при большем радиусе троянского обучения.

В целом, радиус троянского обучения оказался (в данных условиях, в данной среде) значимым фактором, влияющим на численность агентов и на их пространственные распределения — всё более кластеризованные и отдаленные друг от друга.

Перспективы будущего исследования

Подчеркну: в этой модели обучаемость интеллектуальных агентов была неизменной характеристикой. Но теоретически возможно конструирование агентов не с фиксированным, а с изменяемым уровнем обучаемос­ти, который поддается воздействиям других агентов — как в сторону повышения, так и понижения.

Интересно, что сейчас среди огромного количества научной и ненаучной литературы, эксплуатирующей тему столкновения систем искусственного интеллекта (например, роботов, враждующих суперкомпьютеров и т. д.) как их физической схватки, перепрограммирования друг друга и т. д., не удается обнаружить даже самой идеи того, что полем конкуренции систем искусственного интеллекта может стать обучаемость, ее повышение и понижение. И это при том, что способность приобретать знания, обучаемость оценивается невероятно высоко и рассматривается как важнейшая составляющая интеллекта — искусственного в том числе.

Представляет интерес разработка сред, в которых развертывается конкуренция интеллектуальных агентов (и их коалиций) за более высокие уровни обучаемости — с повышением свой обучаемости и понижением чужой и поиском оптимального диапазона обучаемости (максимальный уровень может быть не оптимален, не полезен). Будет интересно посмотреть на картинки и графики.

Александр Поддьяков, докт. психол. наук, проф. НИУ ВШЭ,
гл. науч. сотр. Института психологии РАН

1. Алексенко А. Мухи разных народов, или Уроки мультикультурализма // Сноб. 10 ноября 2018.

2. Поддьяков А.Н. Троянское обучение в экономическом сознании и поведении // Культура и экономическое поведение / Под ред. Н.М. Лебедевой, А.Н. Татарко. М.: МАКС Пресс, 2011. С. 421–444.

3. Финансовая киберграмотность и борьба с мошенничеством. Памятка для потребителей от Роспотребнадзора.

4. «Удочка» как приманка в троянском обучении // СтопПирамида.рф.

5. Кларин М.В. Корпоративный тренинг, наставничество, коучинг: учебное пособие для бакалавриата и магистратуры. М.: Издательство Юрайт, 2019.

6. Rhodes M., Bonawitz E., Shafto P., Chen A., Caglar L. Controlling the message: preschoolers’ use of information to teach and deceive others // Frontiers in Psychology. 2015. № 6.

7. Фишман Р. Клеточный автомат: возможна ли автоматическая жизнь? // Популярная механика. 4 мая 2019.

8. Перфильева К. «Камень-ножницы-бумага» или еще раз о логике и математике в экологии.

9. Special feature: Intransitive competition and species coexistence // Journal of Ecology. 2018. Vol. 106. No. 3.

24 комментария

  1. в ОБЩЕМ, ПОЧТИ ЛЮБОЙ ВИД ОБУЧЕНИЯ ИНДИВИДА В СОЦИУМЕ ЕСТЬ ТРОЯНСКОЕ ОБУЧЕНИЕ, ПОСКОЛЬКУ СОЦИУМ ГОТОВИТ ВСЕХ СВОИХ ЧЛЕНОВ С МЛАДЫХ НОГТЕЙ К РАБОТЕ НА НЕГО, СОЦИУМ. рАЗВЕ ЧТО ОБУЧЕНИЕ ВЫЖИВАНИЮ НА НЕОБИТАЕМОМ ОСТРОВЕ — НЕ ТРОЯНСКОЕ, ПОСКОЛЬКУ В РЕЗУЛЬТАТЕ ОБУЧИВШИЙСЯ РОБИНЗОН БУДЕТ ИСПОЛЬЗОВАТЬ ПОЛУЧЕННЫЕ ЗНАНИЯ ИСКЛЮЧИТЕЛЬНО В СВОИХ ИНТЕРЕСАХ. с ДРУГОЙ СТОРОНЫ, ВНЕ ОБЩЕСТВА СМЫСЛ ЖИЗНИ РЕЗКО СУЖАЕТСЯ. вЫХОДИТ, ИНДИВИД ДОЛЖЕН ИСПОЛЬЗОВАТЬ ТРОЯНСКОЕ ОБУЧЕНИЕ ТАК, ЧТОБЫ НАЙТИ ОПТИМАЛЬНЫЙ БАЛАНС СОБСТВЕННОГО И ОБЩЕСТВЕННОГО ИНТЕРЕСОВ.

    1. Троянское обучение – род обмана. Обман в социальных коммуникациях существует, но доминировать не может, иначе коммуникации развалятся. Нет смысла обращаться к местному жителю с вопросом, где здесь что-то, если тебя практически гарантированно обманут, — лучше самому искать, ни к кому не обращаясь. Раз люди друг к другу обращаются, значит, обман не доминирует (хотя и встречается).

      Соответственно, обучение не может быть тотально троянским, хотя элементы манипуляции могут и иметься, а в некоторых типах ситуаций – доминировать настолько, что это обучение приходится назвать троянским.

      1. Есть точка зрения, что религия — обман. Или, в более поздние времена, различные светские идеологии — обман. Они вполне могут доминировать. Вопрос в том, в каких сферах это происходит и как организованы коммуникации. Метафорически это изображено, например, в сказке «Джельсомино в Стране лжецов» и т.п. Несмотря на условия, местным жителям как-то удалось наладить коммуникации по жизни.

        Но тут поставлен другой важный вопрос. Все просто в модели, когда есть функция полезности (дохода, удовольствия) только от своего, личного поведения. Тогда понятно, какое поведение выгодно, правильно и т.п. Другое дело — когда это функция не только от своего поведения, но и от поведения всех (популяции, социума). Что тогда считать правильным?

        Допустим, есть два луга — первый, на котором растут много цветов, дающих маленькие порции нектара, и второй — на котором мало цветов, дающих большие порции. Если есть пчелы, которые повадились летать на второй луг, а учат других летать на первый, то такое обучение можно в каком-то смысле назвать троянским. С другой стороны, если все пчелы станут летать на второй луг, большинству из них нектара не достанется, они будут голодать и вымрут. В этом смысле, наоборот, троянским кажется обучение летать на второй луг.

        1. Я согласен. Так, из-за различия ценностей разных групп те изменения в образовании, которые одни люди (представители одной группы) считают движением в совершенно необходимом и правильном направлении, другие люди (представители другой группы) воспринимают как «троянского коня». В 2014 г. в Англии разразился скандал, так и названный — «троянский конь». В ряде школ попечительские советы, в которых доминировали радикально настроенные сторонники ислама, противодействовали обучению в этих школах светским дисциплинам (биологии, искусству, музыке и др.), препятствовали обучению девочек на равных правах с мальчиками и т.д. http://angliya.com/2014/04/22/троянский-конь-пробрался-в-школу, http://en.wikipedia.org/wiki/Operation_Trojan_Horse.
           
          Спасибо за ссылки на «Джельсомино» — надо прочитать.
           
          И за красивый пример с пчелами на двух полях с троянским обучением.

          1. Если обращаться к зарубежным примерам, можно упомянуть так называемую «критическую расовую теорию», которая сейчас активно внедряется в образование в США и вызывает там разногласия в обществе.

    2. Если говорить о социуме, то здесь в отчасти созвучном контексте используется понятие «скрытый учебный план» (hidden curriculum). Оно обозначает трансляцию в ходе обучения официально не выраженных ценностей, взглядов и правил данного учебного сообщества или общества в целом (например, гендерных установок и правил поведения, основанных на них).

      Скрытый учебный план не предполагает обмана – скрытого преднамеренного обучения других неправильным действиям и стратегиям. В работах по данной теме описывается и анализируется в основном ненамеренная трансляция, которую не осознают организаторы обучения, разработчики учебного содержания (учебников, задачников и т.д.) и преподаватели (Ярская-Смирнова https://clck.ru/X9Pcc; https://www.edglossary.org/hidden-curriculum).

      1. А патриотическое воспитание, предполагающее создание установки в индивидуальном сознании пожертвовать жизнью в случае опасности для социума, — это троянское образование или нечто иное?

      2. Сейчас вполне актуальна и вполне намеренная трансляция.

        1. Почему только сейчас? Разве патриотизм в своей высшей мертвой точке не есть готовность отдать жизнь за целое — семью,страну как контекст бывшего и будущего существования твоего рода, т.е. и тебя? И так было в любой стране при любой идеологии — с разными степенями напряженности и риториками, понятное дело.

          1. Я вообще про патриотизм ничего не писал. Но раз уж зашла речь, патриотическое воспитание это гораздо более широкое понятие, чем Вы пишете. Задачи массово отдавать жизнь, к счастью, не ставится.

      3. https://oralhistory.ru/talks/orh-441-442
        Здесь сказано следующее. При Царе Горохе Закону Божьего было для студентофф — 1 (один!) час в неделю, а при совке — долбаной «идеологии» — 25% от цельного учебного плану. И зачем после всего этого типа сильно стараться что-то там скрывать, не кормить дармоедофф от преподавалова и т.п.??
        Воюем-с со «скрытыми смыслами»? Флаг в руки и вперёд типа!
        Л.К.
        Оченно не люблю «сложного и неоднозначного» (антисемитски настроенного) Н.В. Тимофеева — Ресовского, биолога. Но тут он, полагаю, был прав на все 100%.
        К.

  2. Прошу простить за офф топ — вопрос администратору сайта, наверное,: как установить обоюдную связь с редакцией? Больше месяца мои попытки получить ответ от адреса, начинающегося с info успехом не увенчались:-(. Может, есть другой адрес?

    1. Письмо пришло на info, да, коллеги должны были увидеть, но реакции и обсуждения пока не было… Видимо, смущает негазетный формат — объем 48 тыс. зн. (это четверть номера) и тема — религия + философия — обычно от нас далековато… Ну я спрошу у коллег более явной какой-то реакции… Но может в какие-то журналы еще?

      1. У меня есть где это опубликовать, просто хотел дождаться вашего отказа:). В принципе, если бы подошло по теме, могу сократить.

  3. Впаривание религиозных идеологий в современном мире — действенный фактор троянского «обучения»

  4. Материал этой статьи кратко представлен в более широком контексте в докладе «Нетранзитивность превосходства (принцип «камень-ножницы-бумага») в биологии, математике и психологии».
    Он был прочитан на новом семинаре «Нетранзитивность и ее приложение» на мехмате МГУ под руководством А.В.Лебедева.

    Презентация — http://www.hse.ru/pubs/share/direct/document/506078668.pdf.
    Лучше смотреть, открыв как pdf, а не в браузере, тогда будут видны эффекты анимации.

Добавить комментарий

Ваш адрес email не будет опубликован.

Оценить: