ИИ научился проходить трёхмерный лабиринт

Искусственный интеллект Google DeepMind продолжает успешно справляться с поставленными задачами: совсем недавно "Вести.Наука" сообщили о том, как он научился играть в видеоигры и достиг успехов в древней игре го. Теперь DeepMind продемонстрировал свои способности при прохождении виртуального 3D-лабиринта, похожего на лабиринт из игры Doom 1993 года.

Главная особенность такого достижения заключается в том, что, в отличие от большинства игровых искусственных интеллектов (ИИ), система не имеет доступа к внутренним кодам игры. Она действует, как если бы действовал обычный человек, глядя на экран и выбирая свою дальнейшую стратегию поведения. Разработчики уверены, что способность искусственного интеллекта ориентироваться в трёхмерном пространстве с помощью "зрения" может быть в дальнейшем полезна при работе в реальном мире.

Работа основана на исследовании специалистов DeepMind, опубликованном в прошлом году: команда обучила ИИ играть в 49 различных видеоигр приставки Atari 2600, которая была популярна в 1980-е годы. Программное обеспечение не знало правил игры: ему нужно было просто смотреть на экран и придумывать свои собственные стратегии, чтобы получить высокий балл. Система переиграла самого успешного игрока-человека в 23 играх.

Искусственный интеллект опирался на технологию под названием обучение с подкреплением, позволяющую нарабатывать опыт и сочетающуюся с глубокими нейронными сетями, которые анализируют и узнают изображение на экране. ИИ также мог обращаться к своей памяти и изучать предыдущие сценарии и технику, используя накопленный опыт.

Тем не менее у этой стратегии были и свои недостатки, из-за которых было сложно масштабировать стратегию для решения более сложных проблем. Она использовала большой памяти и производила слишком много вычислений. Так что команда разработчиков создала новую технику – асинхронное обучение с подкреплением, которое позволяет машине видеть несколько вариантов решения проблемы и сравнивать их.

Этот подход требует меньшей вычислительной мощности. Предыдущая версия требовала восемь дней тренировок на высокопроизводительных графических процессорах, новая же достигает более высокой производительности на более скромных процессорах всего за четыре дня. Так, в простой гоночной 3D-игре ИИ добился 90% человеческих результатов.

Трёхмерный лабиринт оказался более сложной задачей, так как "игрок" там может телепортироваться в любое место лабиринта, то есть постоянно сталкивается с новой версией и должен выработать какую-то общую стратегию, основываясь на своём опыте. Однако система в конечном счёте справилась с задачей. Разработчики уверены, что способность ориентироваться в трёхмерном пространстве с помощью "взгляда" подводит нас к тому моменту, когда машины с искусственным интеллектом смогут перемещаться и по реальному миру подобно людям.