ИИ придумал китайский ядерный груз: американские военные чуть не начали войну из-за ошибки чат-бота

Американские военные едва не перехватили китайское судно. Поводом стал разведывательный отчёт, который, как выяснилось позже, был полностью ложным. Его сгенерировали с помощью инструментов искусственного интеллекта. Об этом сообщает CNN.

Ошибочный отчёт подготовил аналитик Командования специальных операций США. В документе утверждалось, что китайское судно перевозит компоненты для ядерной программы через Ближний Восток. Военные готовились перехватить и досмотреть судно при поддержке авиации. Остановились лишь тогда, когда выяснилось: чат-бот, использованный при подготовке отчёта, «неточно определил материал, который перевозило судно».

Один из источников CNN назвал этот провал «почти начавшейся войной».

Как это произошло

Аналитик использовал чат-бот, чтобы проанализировать разведданные о грузовом манифесте китайского судна. Чат-бот «объединил открытые источники с секретными данными сигнальной разведки из правительственных хранилищ». Результат попал в разведывательный отчёт — и чуть не запустил цепочку катастрофических событий.

Это один из самых опасных и последствий примеров того, как галлюцинирующий ИИ разрушает надёжность профессионального документа. С 2023 года, когда слово «галлюцинировать» стало словом года по версии Кембриджского словаря, мы видели, как в ловушку ИИ, который просто выдумывает факты, когда в обучающих данных не хватает контекста, попадали авторы документальной литературы, журналисты, академические исследователи, судьи, врачи, полицейские управления, корпоративные колл-центры и многие другие. И несмотря на попытки писать в промптах «не галлюцинируй», некоторые исследователи считают, что полностью предотвратить галлюцинации больших языковых моделей может быть невозможно.

Почему военные должны были знать

Можно было бы надеяться, что военные США осведомлены о таких проблемах, полагаясь на ИИ для анализа разведывательных отчётов. Но в январе Министерство обороны представило «стратегию ускорения ИИ», которая стремилась «сделать все подходящие данные доступными across federated IT systems for AI exploitation, including mission systems across every service and component».

«ИИ хорош настолько, насколько хороши данные, которые он получает, и мы позаботимся о том, чтобы они были», — сказал министр обороны Пит Хегсет, представляя эту инициативу.

В декабре Министерство обороны объявило, что будет использовать Google Gemini for Government как основу для своей платформы GenAI.mil. В прошлом месяце ведомство добавило Grok for Government как опцию на платформе. Anthropic также предлагает customized версию Claude для американской шпионской работы.

В июне представитель Пентагона хвастался перед Конгрессом, что они используют генеративный ИИ для помощи в создании отчётов, требуемых Конгрессом, и что 1,5 миллиона действующих сотрудников Министерства обороны использовали военные инструменты генеративного ИИ.

В 2023 году Государственный департамент в «Декларации об ответственном военном использовании искусственного интеллекта и автономии» подчеркнул, что «принципиальное» использование ИИ вооружёнными силами «должно включать тщательное рассмотрение рисков и выгод, а также минимизировать непреднамеренную предвзятость и аварии». В том же отчёте говорилось, что «подотчётное» использование систем ИИ всегда должно включать «человека в контуре, ответственную человеческую цепочку командования и контроля».

Однако с тех пор мы видели полностью автономные ударные дроны, использованные в российском конфликте в Украине и протестированные военными подрядчиками при поддержке НАТО. В марте Министерство обороны внесло Anthropic в чёрный список из-за возражений компании против использования её моделей в автономных системах вооружения. Федеральный судья в прошлом месяце назвал этот шаг «незаконной местью в нарушение Первой поправки».

Сообщение о почти случившемся инциденте появилось на фоне предупреждений исследователей ИИ об угрозе вымирания, которые привели к новому громкому национальному разговору о безопасности ИИ, включая призывы к регулированию и координации исследований.

Чат-бот выдумал ядерный груз. Аналитик вставил эту выдумку в отчёт. Военные приготовились перехватывать судно. Цепочка выглядит абсурдной.

Но дело не в том, что военные «слепо доверились» чат-боту. Дело в том, что система, которая должна была проверять и балансировать, не сработала. Отчёт прошёл через руки, попал в оперативное планирование, дошёл до стадии подготовки перехвата с авиационной поддержкой. И только тогда кто-то заметил, что материал определён неверно.

Это не история про тупой чат-бот. Это история про то, что в военной машине, где решения о жизни и смерти должны проходить через человеческую цепочку командования, ИИ оказался встроен так, что его выдумка почти стала приказом. И это гораздо страшнее, чем просто ошибка алгоритма.