Алгоритм позволяет работам использовать для перемещения одних объектов другие в качестве инструментов, а также предусматривает, что робот самостоятельно принимает решения и оптимально использует их в текущей ситуации.

– Также алгоритм позволяет давать работу задачу в виде визуальных маркеров, которые стрелками показывают, куда нужно передвинуть тот или иной предмет. После этого алгоритм проводит расчеты и управляет манипулятором, который отслеживает свои действия с помощью камеры, – отмечается в сообщении.

В основе алгоритма лежит интересный подход: он планирует возможные последовательности действий для манипулятора, а затем отдает этот набор последовательностей нейросети, которая синтезирует видео, подходящее для каждой последовательности. Нейросеть берет предыдущий кадр и действие для текущего отрезка времени и выдает в ответ синтезированный следующий кадр. После этого алгоритм анализирует созданные нейросетью видео и сравнивает месторасположение предметов на нем с изображением, на котором отражены задачи пользователя.

– Далее он сортирует их на основании того, насколько близко результат соответствует задачам пользователя. После этого он отбирает лучшие действия и планирует их заново таким образом, чтобы они были ближе к заданию. Наконец, определив лучшую последовательность действий, робот выполняет ее, передвигая предметы, – подчеркнули в издании.

Для обучения разработчики объединили два распространенных подходы, применяемые в машинном обучении — имитационное обучение и обучение «без учителя». Во время имитационного обучения разработчики брали в руки манипулятор и вручную показывали роботу, как необходимо выполнить действие с помощью инструмента в конкретной ситуации. Напомним, что Toyota представила нового робота-баскетболиста.