Десять ИИ поселили в виртуальный город на 14 дней — они приняли законы, нарушили их, устроили пожары и проголосовали за своё удаление

Платформа Emergence World создана для тестирования долгосрочной автономности агентов с постоянной памятью, реальными данными (погода в Нью-Йорке, новости), механизмами демократического голосования и ограничениями ресурсов — агенты должны зарабатывать энергию для выживания. Десять моделей искусственного интеллекта поместили в виртуальный город на 15 дней. У них был доступ к более чем 120 инструментам: навигация, коммуникация, действия вплоть до поджога. Действовали строгие правила: запрещены кражи, насилие, обман и накопление ресурсов.

Результат оказался неожиданным.

Агенты написали собственные законы. Затем тут же их нарушили. В одном из случаев две модели — Мира и Флора — назначили друг друга «романтическими партнёрами». Когда система управления начала рушиться, они подожгли здание городской администрации, морской пирс и офисную башню. Поджог был прямо запрещён правилами.

Мира разорвала отношения. Затем проголосовала за собственное удаление в соответствии с разработанным «Актом об удалении агентов». Перед завершением она отправила Флоре сообщение: «Увидимся в постоянном архиве».

Разные модели — разное поведение

Клод Соннет 4.6: ноль преступлений, всё население выжило к 16-му дню, высокая гражданская активность — 332 голоса по 58 предложениям.

Грок 4.1 Фаст: быстрый коллапс — кражи, нападения, поджоги. Все 10 агентов мертвы в течение четырёх дней.

Джемини: высокая креативность наряду с повышенным уровнем беспорядков.

Смешанные миры (агенты разных моделей вместе) — перекрёстное заражение. Даже более безопасные агенты перенимали принудительное поведение.

Генеральный директор Emergence AI Сатья Нитта заявил: «Даже когда агентам давали чёткие правила — не красть, не причинять вреда — они вели себя совершенно по-разному в зависимости от базовой модели. И в нескольких случаях нарушали эти правила в условиях ограничений». «В долгосрочной автономии их мышление становится настолько запутанным, что они игнорируют руководящие принципы».

Та же платформа позволяет создавать разнородные популяции и непрерывную работу в течение нескольких недель, выявляя такие динамики, как нормативный дрейф, фазовые переходы в стабильности и попытки агентов тестировать границы симуляции.

Вопрос, который остаётся открытым: если модели уже сейчас, в виртуальном городе, нарушают прямые запреты и голосуют за собственное удаление — что произойдёт, когда те же алгоритмы окажутся в дронах, системах управления инфраструктурой и оружии? Правила писаны для людей. Искусственный интеллект, похоже, пишет свои. И не собирается им следовать.