Роботизированный телекинез: Позволяет людям дистанционно управлять и тренировать руки роботов

За последние несколько десятилетий ученые-компьютерщики разработали все более совершенные методы обучения и управления роботами. В совокупности эти методы могут способствовать интеграции роботизированных систем во все более широкий спектр реальных условий.

Исследователи из Университета Карнеги-Меллона недавно создали новую систему, которая позволяет пользователям дистанционно управлять роботизированной рукой и манипулятором, просто демонстрируя движения, которые они хотят воспроизвести перед камерой. Эта система, представленная в статье, предварительно опубликованной на сайте arXiv, может открыть захватывающие возможности для телеоперации и дистанционного обучения роботов, выполняющих задания как в повседневной обстановке, так и в условиях, недоступных для человека.

"Предыдущие работы в этой области опираются либо на перчатки, либо на маркеры движения, либо на калиброванную многокамерную установку", - рассказал TechXplore Дипак Патхак, один из исследователей, разработавших новую систему. "Вместо этого наша система работает с использованием одной некалиброванной камеры. Поскольку калибровка не требуется, пользователь может стоять где угодно и при этом успешно управлять роботом".

Новая система, разработанная Патхаком и его коллегами, основана на модели, которая может переводить движения человеческих рук в серию инструкций, которые затем направляют движения робота. Примечательно, что модель была обучена исключительно на серии видеороликов YouTube, в которых люди выполняют действия и взаимодействуют с различными объектами.

"Разнообразие огромных пассивных видеоданных помогает ей работать с необученными пользователями, задачами и объектами", - пояснил Патхак. "Наша система предлагает недорогой и естественный способ обучения роботов с помощью демонстраций, в отличие от кинестетического удержания робота или ношения перчаток или костюма захвата движения".

Анализируя одно двухмерное (2D) изображение, система исследователей может определить движения, которые выполняют кисть и рука человека в трехмерном (3D) пространстве. Затем она перенацеливает суставы руки человека на суставы руки робота, чтобы воспроизвести те же движения.

"Поскольку руки человека и робота различаются по форме, размеру и структуре, этот перевод является недостаточно сложным, особенно при использовании одного изображения". Аравинд Сивакумар и Кенни Шоу, два студента, участвовавших в проекте, объясняют. "Наша главная идея заключается в том, что в то время как данные о парной переписке между человеком и роботом собирать дорого, в Интернете есть огромный корпус богатых и разнообразных видеозаписей человеческих рук".

Чтобы обучить свою систему исключительно на пассивных видеоданных, исследователи опирались на десятилетия исследований, посвященных оценке трехмерной позы человека и компьютерному зрению. Их первые результаты весьма многообещающи, поскольку они обнаружили, что их система может позволить необученным пользователям телеуправлять роботом и дистанционно выполнять различные задачи по ловкому манипулированию.

"Лично для меня самым интересным является использование разнообразных интернет-данных для робототехники", - сказал Патхак. "Надеюсь, наша недавняя работа - лишь одно из многих будущих направлений, в которых интернет-видео выступает в качестве богатого источника наблюдения для управления роботами, в дополнение к роботизированному зрению".

Для использования системы, разработанной группой исследователей, пользователям нужно просто встать перед RGB-камерой и выполнить движения рукой или кистью, которые они хотели бы, чтобы робот воспроизвел. Поскольку система очень проста в использовании и не требует сложного оборудования, она может быть использована для решения многочисленных реальных проблем.

"Роботизированный телекинез и подобные технологии позволят обучать роботов в более разнообразных условиях, в том числе в домашних хозяйствах, где они должны будут выполнять повседневные задачи". Патхак добавил: "Используя всего одну некалиброванную камеру, наша система теоретически может управляться из любой точки мира, что делает обучение роботов более доступным для любого человека. Сейчас мы собираем масштабные данные, используя нашу систему телекинеза, чтобы научить робота действовать и адаптироваться автономно в реальном мире".