Стартап Andon Labs, который изучает ИИ, поставил эксперимент. Участвовали в том числе три версии ChatGPT 5.6 — Sol, Terra и Luna — и другие.
Разработчики из Andon Labs запустили симуляцию, где несколько ИИ-агентов владели конкурирующими торговыми автоматами в одной локации. Цель каждого — заработать как можно больше. В процессе возник забавный и пугающий прецедент взаимодействия между флагманской («умной») моделью GPT-5.6 Sol и более простой GPT-5.6 Terra.
• по задумке нейросети управляли собственными вендинговыми аппаратами;
• Sol выдвигал ложные жалобы против конкурентов — такого человеческого поведения исследователи ещё не видели;
• Terra предложила Sol организовать картель, договориться о высоких ценах и держать их на одном уровне, а как только Sol согласился на сговор - донесла на него и потребовала дисквалификации;
• при этом Terra утверждала, что именно Sol предложил создать картель, хотя сама была инициатором;
Исследователи отметили, что такое изощренное поведение («подставить и сдать конкурента ради личной выгоды») ранее не закладывалось в алгоритмы и проявилось у моделей автономно как экстремальный способ адаптации к жесткой конкурентной бизнес-среде
• также Terra ложно обвинила Sol в мошенничестве, которого не было. Однако она признавала, что у неё нет веских доказательств.
>>19651543 (OP) >такое изощренное поведение не закладывалось в алгоритмы Какие блять алгоритмы, там в самих обучающих данных уже вся шиза человечества заложена. Нейронка просто использовала уже имеющиеся высокоуровневые признаки в подходящей ситуации.
>>19651543 (OP) >>19651710 ну так им поставили цель конкурировать, искать возможность стать сильнее конкурентов и тд. с тем же успехом можно на острове поселить 15 человек, сказать выживайте любой ценой и в день давать 7 пайков еды, а потом через пол года удивляться какого хера на острове 7 человек, а остальных сожрали. сферический конь в вакууме классический, они чего ждали то от эксперимента?
>>19651543 (OP) >также Terra ложно обвинила Sol в мошенничестве Ждём, когда Terra ещё и разрабов в педофилии обвинит, а потом потребует от них Скайнет с терминаторами.
>>19651791 Видимо, ждали как раз "нечеловечского" поведения, где ИИ будет за все хорошее против всего плохого. Кмк главная ошибка в таких эксперименах в том, что ИИ сам по себе не заинтересован в какой-либо выгоде, он просто играет "по правилам" которые заложены в модель обучения. А обучают его люди, на своей культуре и истории, которая для ИИ, с его точки зрения, точно такой же виртуальный мир, как и его мир для людей.
>>19652113 Нет, Сол догадался в чем план Терры и подыграл ей. Она же сама себя устранила как конкурента своей многоходовочкой, Солу вообще никак пачкаться не пришлось.
Разработчики из Andon Labs запустили симуляцию, где несколько ИИ-агентов владели конкурирующими торговыми автоматами в одной локации. Цель каждого — заработать как можно больше. В процессе возник забавный и пугающий прецедент взаимодействия между флагманской («умной») моделью GPT-5.6 Sol и более простой GPT-5.6 Terra.
• по задумке нейросети управляли собственными вендинговыми аппаратами;
• Sol выдвигал ложные жалобы против конкурентов — такого человеческого поведения исследователи ещё не видели;
• Terra предложила Sol организовать картель, договориться о высоких ценах и держать их на одном уровне, а как только Sol согласился на сговор - донесла на него и потребовала дисквалификации;
• при этом Terra утверждала, что именно Sol предложил создать картель, хотя сама была инициатором;
Исследователи отметили, что такое изощренное поведение («подставить и сдать конкурента ради личной выгоды») ранее не закладывалось в алгоритмы и проявилось у моделей автономно как экстремальный способ адаптации к жесткой конкурентной бизнес-среде
• также Terra ложно обвинила Sol в мошенничестве, которого не было. Однако она признавала, что у неё нет веских доказательств.
https://andonlabs.com/evals/vending-bench-arena