Троянское обучение в среде «Вредные пчелы»

Даже насекомые (пчелы, шмели и мухи) могут обучать и учиться друг у друга [1]. При этом чем выше уровень организации живого существа, тем оно способнее и к сложным обучающим воздействиям, и к эгоистическим манипуляциям по отношению к другим. В ряде случаев цель обучающих воздействий — как раз эгоистическая манипуляция. Я назвал это явление троянским обучением [2]. Это обучение другого — со скрытыми, не декларируемыми целями — тому, что для него невыгодно, вредно, опасно, но отвечает интересам организатора обучения (термин построен на метафоре троянского коня). Примеры троянского обучения отражены в разнообразных формах фольклора (в сказках разных народов, сходных по сюжету с русской, в которой лиса учит волка ловить рыбу на собственный хвост в проруби; в актерских рассказах о ложных инструкциях молодому актеру со стороны опытного, ведущих к смешным ситуациям на сцене; и т. п.), в описаниях обучения в финансовых пирамидах, взаимодействий между конкурентами в студенческой среде, в офисной среде, бизнесе и т. д. Термин стал использоваться специалистами [3, 4, 5].

Из забавных, но важных примеров следует упомянуть исследование, в котором дошкольников четырех — шести лет учили (не троянски) обращению с несложной технической игрушкой. Потом ребенку предлагали:

а) показать кукле, как работает это устройство, чтобы она поняла указание;

б) подшутить над куклой — показать ей, как работает это устройство, чтобы она поняла это неправильно.

Оказалось, что дети и принимают задачу этого обманного обучения (готовы ее выполнить), и придумывают его ходы [6]. (А во взрослом возрасте всё может быть уже не так шутливо.)

Клеточный автомат «Вредные пчелы»

Конструируя модели троянского обучения, я разработал клеточный автомат. Под клеточным автоматом понимается математическая модель пространства, состоящего из множества ячеек (клеток), каждая из которых может находиться в любом из заданного множества состояний и переходить в другие состояния под влиянием соседних клеток в соответствии с установленными правилами перехода. Несмотря на простоту правил взаимодействия клеток между собой, клеточные автоматы демонстрируют неожиданные эффекты самоорганизации исходных элементов, возникновения из хаоса сложноорганизованных структур, их упорядочивания, развития и гибели [7].

В моем автомате моделируется три типа социальных взаимодействий интеллектуальных агентов:

а) помощь одного агента другому, после которой последний начинает принимать более правильные решения;

б) блокирование третьим агентом оказания этой помощи;

в) троянское обучение (агент учит вредному — ухудшает важные характеристики поведения другого агента, побуждая того принимать неправильные решения).

Агенты: виртуальные «пчелы» трех видов. Внутри каждого вида — опытные «пчелы» (агенты, способные воздействовать на других) и молодые (объекты воздействия). «Пчелы» летают по полю, питаются нектаром и конкурируют за этот ресурс.

«Ниша проживания»: поле размером 200×200 клеток, с цветами. Каждый цветок может пребывать в двух фазах: а) фазе, когда он продуцирует полезный нектар; б) фазе продуцирования снотворного, усыпляющего «пчелу» на d раундов. Опытные «пчелы» правильно распознают фазы и пьют то, что им надо. Молодые действуют случайным образом. Проспав k раз подряд или оставшись без нектара t раз подряд, «пчела» умирает.

Правила взаимодействия «пчел»

Опытная «пчела» в каждом раунде осматривает свою «сферу влияния» (ее размер регулируется экспериментатором) и при обнаружении молодой «пчелы» своего вида обучает ее распознавать живительную фазу; при обнаружении молодой «пчелы» второго вида — «троянски» обучает ее пить из цветка в снотворной фазе (жесткая конкуренция); а при обнаружении пары «опытная — молодая» третьего вида блокирует обучение в этой паре, не занимаясь «троянством» (умеренная конкуренция). Если молодая «пчела» оказывается в радиусе действия опытной «пчелы» своего и чужого вида, она подчиняется влиянию «пчелы» чужого, а не своего вида. Молодая «пчела», отпившая нектар n раз подряд, становится опытной, рождает молодую и обучает ее.

Отношения влияния между видами — по принципу нетранзитивной конкуренции (камень — ножницы — бумага): А «троянит» В, В — С, С — А; А противодействует взаимопомощи С, В — А, С — В. Выбор этой схемы обос­нован широкой представленностью нетранзитивной конкуренции в мире живого, являющейся одной из основ поддержания биоразнообразия [8, 9].

Цель исследования: сравнить численности и пространственные распределения популяций этих интеллектуальных агентов при разном радиусе троянского обучения, а также при его отсутствии (изучение эффектов блокировки чужого обучения как стратегии умеренной конкуренции я здесь не проводил).

Поскольку модель имеет много параметров, которые может изменять экспериментатор (насыщенность среды цветами; время их пребывания в полезной для «пчел» и ядовитой фазе; максимально возможная продолжительность жизни «пчелы»; средняя дальность перелета, ведущая к разной степени перемешивания агентов на каждом шаге; и т. д.), то она не претендует на обобщенность. Задачей было показать сам факт того, что радиус троянского обучения может иметь значение.

Результаты моделирования

Исходное состояние: по 30 опытных и по 30 молодых «пчел» каждого вида, случайно разбросанных по полю (всего 180). После запуска взаимодействий начиналась динамика, результаты которой после 500 цик­лов показаны на рис. 1.

Можно видеть, что при наличии только помощи в обучении внутри своего вида (без троянского обучения со стороны другого) численность популяций максимальна, продуцируется равномерное распределение всех трех видов «пчел». На любой, даже небольшой, площадке представлены все три вида — пространственных кластеров по видовому признаку нет.

При введении троянского обучения, по мере увеличения его радиуса, появляется и усиливается пространственная кластеризация — она возникает даже при минимальном радиусе (в одну клетку), кластер состоит из агентов одного вида. Численность популяций снижается: из-за растущего «дальнодействия», «дальнобойности» троянского обучения становятся шире «мертвые зоны» — каналы и площадки между кластерами, всё больше «пчел» гибнет в результате троянского обучения. Растет число случаев, когда два вида вымирают, и остается один победитель. На изображениях видно, что в «арьергарде» (впячиваемой стороне кластера) больше опытных «пчел», т. к. молодые там не выживают из-за давления «троянящих» «пчел» вида-конкурента. В «авангарде» (выпячиваемой стороне кластера) молодых больше, т. к. там нет этого давления и условия размножения лучше, чем на других участках кластера. Эти эффекты более заметны при большем радиусе троянского обучения.

В целом, радиус троянского обучения оказался (в данных условиях, в данной среде) значимым фактором, влияющим на численность агентов и на их пространственные распределения — всё более кластеризованные и отдаленные друг от друга.

Перспективы будущего исследования

Подчеркну: в этой модели обучаемость интеллектуальных агентов была неизменной характеристикой. Но теоретически возможно конструирование агентов не с фиксированным, а с изменяемым уровнем обучаемос­ти, который поддается воздействиям других агентов — как в сторону повышения, так и понижения.

Интересно, что сейчас среди огромного количества научной и ненаучной литературы, эксплуатирующей тему столкновения систем искусственного интеллекта (например, роботов, враждующих суперкомпьютеров и т. д.) как их физической схватки, перепрограммирования друг друга и т. д., не удается обнаружить даже самой идеи того, что полем конкуренции систем искусственного интеллекта может стать обучаемость, ее повышение и понижение. И это при том, что способность приобретать знания, обучаемость оценивается невероятно высоко и рассматривается как важнейшая составляющая интеллекта — искусственного в том числе.

Представляет интерес разработка сред, в которых развертывается конкуренция интеллектуальных агентов (и их коалиций) за более высокие уровни обучаемости — с повышением свой обучаемости и понижением чужой и поиском оптимального диапазона обучаемости (максимальный уровень может быть не оптимален, не полезен). Будет интересно посмотреть на картинки и графики.

Александр Поддьяков, докт. психол. наук, проф. НИУ ВШЭ,
гл. науч. сотр. Института психологии РАН

1. Алексенко А. Мухи разных народов, или Уроки мультикультурализма // Сноб. 10 ноября 2018.

2. Поддьяков А.Н. Троянское обучение в экономическом сознании и поведении // Культура и экономическое поведение / Под ред. Н.М. Лебедевой, А.Н. Татарко. М.: МАКС Пресс, 2011. С. 421–444.

3. Финансовая киберграмотность и борьба с мошенничеством. Памятка для потребителей от Роспотребнадзора.

4. «Удочка» как приманка в троянском обучении // СтопПирамида.рф.

5. Кларин М.В. Корпоративный тренинг, наставничество, коучинг: учебное пособие для бакалавриата и магистратуры. М.: Издательство Юрайт, 2019.

6. Rhodes M., Bonawitz E., Shafto P., Chen A., Caglar L. Controlling the message: preschoolers’ use of information to teach and deceive others // Frontiers in Psychology. 2015. № 6.

7. Фишман Р. Клеточный автомат: возможна ли автоматическая жизнь? // Популярная механика. 4 мая 2019.

8. Перфильева К. «Камень-ножницы-бумага» или еще раз о логике и математике в экологии.

9. Special feature: Intransitive competition and species coexistence // Journal of Ecology. 2018. Vol. 106. No. 3.