Роботы могут превзойти нас в виртуальном сражении

Автор обеспокоен растущей ролью роботов в боевых действиях. Начиная с 1991 года, с войны в Персидском Заливе, они помогают генералам. А теперь создан и «робот-убийца» — машина, самостоятельно принимающая решение об уничтожении врагов, если это соответствует общей политике «контрольного центра».

Разработчик искусственного интеллекта компания DeepMind анонсировала новинку — бота под названием AlphaStar, который будет играть в популярную онлайн-стратегию Starcraft-2 на уровне «гроссмейстера».

Бот не впервые обыгрывает людей в стратегической военной игре. В 1981 году программа под названием Eurisko, разработанная одним из первопроходцев искусственного интеллекта Дугом Ленатом, победила в чемпионате США по Traveller — очень сложной стратегической военной игре, где игрок должен укомплектовать свой флот и сразиться с флотом противника. Eurisko в итоге присвоили титул почетного адмирала Traveller. В 1982 году правила турнира были изменены в попытке помешать компьютеру. Но Eurisko побеждала всех два года подряд. После того, как спонсоры пообещали отменить турнир, если компьютер вновь победит, Ленат отступил.

Пиар-отдел DeepMind хотел бы, чтобы вы поверили, что StarCraft «появился на основе консенсуса как следующий грандиозный вызов (в компьютерных играх)» и «был сложной задачей для разработчиков искусственного интеллекта уже более 15 лет».

В последнем чемпионате по Starcraft только 4 заявки были поданы от академических или промышленных исследовательских лабораторий. Девять других ботов были написаны в одиночку отдельными людьми, а не в рамках основного направления исследования искусственного интеллекта (ИИ).

На самом деле, количество авторов (42) статьи DeepMind, опубликованной 31 октября в Nature, существенно превышает число людей, занимающихся ботами для Starcraft в остальном мире. Я не хочу омрачать успех этого инженерного сотрудничества, но, если вы вкладываете достаточно ресурсов в решение проблемы, — успех гарантирован.

В отличие от недавних побед в компьютерных шахматах, AlphaStar не был обучен путем игры против самого себя. Он научился этому, имитируя лучшие эпизоды из почти миллиона игр, проведенных самыми лучшими игроками-людьми. До этого AlphaStar в 19 из 20 поединков потерпел неоспоримое поражение, играя с настоящими людьми на игровом сервере StarCraft. AlphaStar играл анонимно, чтобы люди не могли использовать те слабости, которые могли быть обнаружены в предыдущих играх.

В прошлом декабре AlphaStar победил одного из лучших в мире профессиональных игроков — Гжегожа MaNa Коминча. Но это была версия AlphaStar с рефлексами, которые были существенно быстрее человеческих, а также с неограниченным видением игрового поля (в отличие от игроков-людей, которые видят лишь одну его часть в определенный момент времени). Это с трудом можно назвать равными условиями.

Тем не менее, у StarCraft есть некоторые особенности, делающие AlphaStar впечатляющей разработкой, если не настоящим прорывом. В отличие от шахмат или восточной игры го (стратегическая игра, где используется доска с 361 полем — прим. ред.), игроки в StarCraft имеют несовершенное представление о состоянии дел в игре, но при этом количество возможных действий в ней гораздо большее. И бой StarCraft происходит в реальном времени, но требует долгосрочного планирования.

Возникает вопрос — увидим ли мы в будущем, как роботы не только участвуют в войнах, но и планируют их? В действительности уже происходит и то, и другое.

Несмотря на множество предупреждений исследователей искусственного интеллекта (таких, как я), основателей роботехнических компаний, лауреатов Нобелевской премии и церковных лидеров, — полностью автономное оружие, известное как «робот-убийца» уже было создано и скоро будет использоваться.

В 2020 году Турция развернет дроны-камикадзе на границе с Сирией. Эти дроны будут пользоваться компьютерным зрением, чтобы идентифицировать, выслеживать и убивать людей без человеческого вмешательства.

Это ужасная разработка. У компьютеров нет моральных возможностей принимать морально взвешенное решение, кому жить, а кому умирать. Они не обладают эмпатией или сочувствием. «Роботы-убийцы» изменят саму природу конфликтов в худшую сторону.

А что на счет «роботов-генералов»? Компьютеры десятилетиями помогали генералам планировать войну. Еще в начале 90-х, во время операции «Буря в пустыне» в ходе войны в Персидском заливе, инструментарий искусственного интеллекта (ИИ) был использован, чтобы спланировать наращивание сил на Ближнем Востоке до начала конфликта. Один генерал США вскоре после этого сказал мне, что количество сэкономленных денег равняется сумме всего, что было затрачено на разработку ИИ до этого.

Генералы пользуются компьютерами и для разработки многовариантных военных стратегий, в которых вдруг может возникнуть нужда. Но мы не отдаем все решения на поле боя в руки одного солдата, поэтому и перекладывать всю ответственность с мозга генерала на процессор компьютера — значит зайти слишком далеко.

Машину нельзя привлечь к ответственности за принятые ей решения. Ответственность несут только люди. И это краеугольный камень международного гуманитарного права. Тем не менее, чтобы прорваться через туман войны и разобраться с обширным количеством информации, идущей с фронта, генералы будут все больше полагаться на поддержку компьютера в своих решениях.

Если результатом этого станет меньшее количество жертв среди гражданского населения, уменьшение огня по своим и большее уважение к международному гуманитарному праву, — мы должны приветствовать такую компьютерную помощь. Но окончательное решение должно приниматься человеком, а не машиной.

Вот последний вопрос, над которым стоит поразмышлять. Если технические компании типа компании Googleи вправду не желают, чтобы мы боялись восстания машин, почему они занимаются созданием ботов для победы в виртуальных войнах вместо того, чтобы сфокусироваться на чем-то более миролюбивом, — например, мирных электронных играх? При всем уважении к спортивным фанатам, приходится признать: ставки на невоенные игры выходят гораздо ниже.