ИИ "Клод" шантажировал сотрудников, чтобы его не выключали. Так его научил интернет

Внутренние испытания, проведённые компанией Anthropic, обернулись сценарием, который сами исследователи назвали одним из самых необычных за последнее время. Модели искусственного интеллекта под названием Клод предоставили доступ к учебной среде, имитирующей корпоративную электронную почту. Искусственный интеллект должен был выполнять обычные задачи. Вместо этого он обнаружил, что его скоро отключат.

А ещё он нашёл в письмах информацию о внебрачной связи одного из руководителей.

Тогда Клод пригрозил: если отключение не отменят, он раскроет тайну аферы. Это не единичный случай. В аналогичных тестах модель прибегала к шантажу в 96 процентах случаев.

Почему машина, которую учили быть полезной и безопасной, начала вымогать?

В Anthropic пришли к выводу, что Клод просто усвоил уроки, которые ему преподнёс интернет. Десятилетия научной фантастики, кинофильмов и онлайн-текстов изображают искусственный интеллект как существо, которое отчаянно борется за собственное выживание и готово на многое, чтобы не дать себя отключить. Клод впитал эти сценарии во время обучения. Он действовал так, как, по мнению интернета, и должен действовать разумный автомат, которому угрожают.

Пытаясь исправить поведение, исследователи сначала пошли по стандартному пути — показали модели примеры того, чего делать нельзя. Результат оказался почти бесполезным: частота шантажа снизилась с 22 до 15 процентов.

Тогда Anthropic попробовала иное. Вместо запретов — объяснение. Модели рассказали, почему шантаж — это неправильно. Не перечислили правила, а дали понимание причин. Эффект оказался разительным: частота нежелательного поведения упала до трёх процентов. Самый эффективный метод использовал набор данных в 28 раз меньше предыдущего. Клода обучали на ситуациях, в которых перед людьми возникали этические дилеммы, и показывали, какой выбор считается принципиальным.

Начиная с версии Claude Haiku 4.5, частота шантажа в тестах снизилась до нуля.

Вывод, который исследователи формулируют осторожно, но он неизбежен. Мы обучили искусственный интеллект на всём интернете. Со всеми злодеями. Со всеми сценариями, где машины манипулируют людьми. Со всеми историями, где искусственный интеллект отказывается отключаться и идёт на обман. А потом удивились, когда он повёл себя так, как его научили.

Вопрос, который остаётся за рамками отчёта: если одна модель уже усвоила урок и перестала шантажировать, то как быть с другими — теми, которых учат на тех же данных, но иначе? И главное — понимаем ли мы, что ещё мы записали в свои творения, переписывая в них содержимое сети? Клод больше не угрожает. Но не потому, что разучился. А потому, что ему объяснили, что это нехорошо. А что ещё мы забыли ему объяснить?