Робособака с манипулятором научилась передвигать стулья по полу

Инженеры из Италии и Швейцарии обучили четвероногого робота с манипулятором на спине перемещать по полу предметы мебели сложной формы, не поднимая их. В симуляции робособака успешно доставила стулья разной формы в заданную точку в 94% случаев, а в реальных испытаниях справилась в 40 из 58 попыток, передвинув стулья и трехногий столик. Препринт статьи опубликован на сайте arXiv.org. Эту информацию сообщает сайт N + 1.

Роботы могут двигать объекты не только захватывая их, но и толкая или таща по поверхности. Это позволяет работать с крупными тяжелыми предметами, которые невозможно поднять из-за ограниченной грузоподъемности манипуляторов. Однако управление такими движениями осложняется зависимостью от трения, геометрии объекта и точки приложения усилия, а также риском соскальзывания манипулятора или опрокидывания груза.

Для освоения навыка инженеры использовали обучение с подкреплением, при котором алгоритм сам вырабатывает стратегию методом проб и ошибок. Проблема в том, что при работе со сложными формами робот не получает вознаграждения, пока не схватит предмет в подходящем месте, а штрафы за резкие движения начисляются сразу. В итоге оптимальной стратегией для него становится бездействие.

Команда под руководством Марко Хуттера из Высшей технической школы Цюриха предложила решение: сначала роботу указывают подходящие точки контакта, а затем постепенно ослабляют вознаграждение за контакт, делая главным перемещение предмета. На трехмерной модели объекта предварительно размечают 25 точек с помощью алгоритма планирования захвата. Вознаграждение разделено на три группы: поиск контакта, перемещение к цели и соблюдение ограничений, каждую оценивает отдельная ветвь нейросети-критика.

Обучение проходило в симуляторе Isaac Lab с алгоритмом PPO в 4096 виртуальных средах. Модель робота ALMA с шестисуставным манипулятором училась перемещать коробки и стулья, используя 115 моделей стульев, включая 100 процедурно сгенерированных. В каждом эпизоде менялись начальное положение, масса предмета и коэффициент трения. Нейросеть управляла манипулятором, скоростью, направлением и высотой корпуса, а за движения ног отвечала заранее обученная система ходьбы.

В симуляции метод показал успех в 94% случаев, опрокидывания составили 4,4%. Дополнительно робот в симуляции открывал дверцу посудомоечной машины, потянув за ручку и затем толкнув вниз. Затем нейросеть без донастройки перенесли на реального робота ALMA. Он испытал четыре незнакомых предмета мебели, включая обычные и складной стулья и трехногий столик, и справился в 40 из 58 случаев (69%). Робот мог повторно цеплять предметы при соскальзывании манипулятора, хотя этому его не учили. В отдельном тесте ALMA переместил стул массой 6,5 кг — больше, чем манипулятор может удержать в вытянутом положении.

Разницу между симуляцией и реальностью авторы объясняют тем, что политика управления часто подводит робота к предмету боком, чтобы манипулятор не задевал корпус. Это требует резких поворотов, которые сбивают систему отслеживания положения, делая движения размашистыми и повышая риск опрокидывания объекта.

Пока метод проверен на трех задачах, а положение объекта определяет внешняя система захвата движения. Расписание уменьшения подсказки задавалось вручную, но в будущем авторы планируют заменить его адаптивным алгоритмом. Ранее группа Марко Хуттера учила робота ANYmal использовать переднюю ногу для манипуляций без манипулятора.