Робота научили танцевать в паре с человеком по одному видео

Инженеры Университета Дьюка разработали фреймворк CoDance, который позволяет обучить человекоподобного робота танцевать в паре с человеком. Для этого достаточно одного короткого видео с двумя танцорами. После обучения в симуляторе андроид Unitree G1 успешно исполнил несколько танцев, держась за руки с партнером. Об этом рассказывает издание N + 1.

Традиционные методы обучения роботов движению предполагают, что алгоритм стремится точно повторять заданные траектории и воспринимает внешние воздействия как помеху. Такой подход не подходит для совместной работы с человеком, когда необходимо постоянно подстраиваться под партнера и податливо реагировать на его усилия, сохраняя равновесие.

Разработчики взяли видеоролик парного танца длительностью менее десяти секунд, воссоздали трехмерные позы обоих танцоров и перенесли их на кинематику робота. Движения одного танцора стали эталоном для андроида, а второго — виртуальным партнером. Чтобы научить робота двигаться вперед и назад, видео дополнительно прокрутили в обратную сторону.

Поскольку в записи не было данных о силе взаимодействия, инженеры искусственно добавили внешние воздействия к запястьям виртуального робота. Для каждого случая алгоритм рассчитывал, как должна измениться поза, чтобы сохранить равновесие. Таким образом из одного видео получили 400 вариантов танца, на которых обучили алгоритм управления методом обучения с подкреплением.

При переносе на реального робота Unitree G1 информацию о положении партнера передавала внешняя система захвата движения. В испытаниях андроид выполнил три успешных танца, держась за обе руки, и ни разу не упал. В двух случаях пара двигалась почти по 40 секунд, меняя направление, при этом робот синхронизировал шаги с человеком и держался на расстоянии около полуметра.

Авторы отмечают, что пока робот умеет исполнять только один танец и не может кружиться или менять положение относительно партнера. В планах — научить его поворотам и другим движениям.