Почему робот учится на видео людей, а готовить его приходится настраивать отдельно?

Команда показала робота за приготовлением вонтонов, чая и йогуртовой миски. Он также упаковывал посылку, наклеивал плёнку и писал каллиграфические знаки. Для каждой из шести продолжительных демонстраций модель настраивали отдельно. Поэтому эти видео сами по себе не доказывают, что робот справится так же в любой новой ситуации.

Больше говорит короткий эпизод с ноутбуком: робот открыл экран и нажал пробел. Разработчики уточнили, что такой задачи не было в данных, использованных для дообучения на роботе. Это не значит, что модель никогда не встречала похожих предметов или действий: сходный опыт мог попасться ей в человеческих видео.

Как это работает

Представьте ученика, который наблюдает за руками человека и запоминает не только сами действия, но и то, как меняется изображение во время движения. Natura-1 связывает увиденное с командами для робота: прошлые кадры служат памятью, а при обучении модель предсказывает и видео, и действия. Сначала она учится на человеческих записях, затем — на данных с роботов.

В заявленной архитектуре MoE, то есть «смеси экспертов», разные части большой модели могут отвечать за разные типы обработки. По данным команды, модель управляет роботизированными кистями с 20 степенями свободы, а контур управления составляет 100 мс.

Если захват не удался, новая версия может изменить угол кисти и повторить попытку, не начиная движение заново. В ранней версии робот продолжал двигаться с пустой рукой. В собственных испытаниях компании успешность составила 53,4%, а с памятью и исправлением ошибок — 59,1%. Это внутренняя оценка, независимой проверки пока нет.

Цифры и цена

По данным команды, на предварительное обучение ушёл 1 млн часов человеческих видео от первого лица. Затем использовали ограниченный объём данных с роботов. В описании набора также указаны около 61,7 млн фрагментов, 318 тыс. задач и 14 тыс. сцен. Его основу составили специально организованные съёмки, дополненные интернет-видео.

Цена Natura-1 в материалах не указана. Нет там и стоимости робота, на котором проходили демонстрации. Поэтому оценить цену готового решения в юанях и рублях нельзя.

Где подвох

«Незнакомая» задача здесь означает, что её не было при дообучении на роботе. Похожие предметы и действия модель могла видеть в человеческих видео. Тест с ноутбуком показывает, что она, возможно, переносит навыки, но не доказывает, что справится с любым произвольным поручением.

Издание LatePost отмечает: общепризнанного независимого испытания пока нет, а опубликованных сведений недостаточно, чтобы самостоятельно проверить заявленные особенности архитектуры. Успешность около 59% сама команда считает недостаточной. Разработчики также признают, что источник и механизм восстановления после ошибок ещё предстоит изучить.

Есть и практическое ограничение: на длинной последовательности действий ошибки могут накапливаться. Издание 36Kr указывает, что на производстве важен заданный темп работы, а дома потребуется более строгая безопасность. Компания планировала приглашать сторонних посетителей, чтобы проверить робота на произвольных командах и принесённых предметах. Результатов такой проверки в материалах нет.

А что в России

Прямых аналогов Natura-1 в России не найдено. Ближе всего по подходу — «Айдол» и входящая в неё Новая Технологическая Коалиция: компания заявляет, что обучает роботов методом проб и ошибок, а НТК представила антропоморфного робота с воплощённым ИИ. Сбер развивает гуманоидного робота «Грин» на базе GigaChat и визуально-языковой модели. Сопоставимых данных о масштабе обучения и параметрах этих систем нет.

В материалах упоминается и российский голосовой интерфейс, который лаборатория 361 Robotics за месяц адаптировала для китайского гуманоида. Это интеграция с готовым роботом, а не российская модель масштаба Natura-1. Продажи Natura-1 в России не обнаружены. Сравнить её возможности с российскими проектами пока трудно: для китайской модели указаны объёмы обучения и результаты внутренней оценки, а сопоставимых цифр по российским разработкам нет.

Какой проверочный тест лучше всего показал бы, что робот умеет переносить навык на новую задачу?

Читайте также

• Все думают, что гуманоиды — экспонаты для шоу, а в Китае 300 таких уже работают посменно в парке развлечений
• Рекордные 4929 метров — не глубина в грунте: 4100 из них приходятся на толщу воды

#китай #наукаитехника #технологии #изобретения #лабораторияподнебесной