Загальна структура для вивчення керування побутовими роботами

Дослідницька група з Нью-Йоркського університету та компанії Meta вирішила проблему навчання роботизованих маніпуляцій у домашніх умовах, представивши DobbE — високоадаптивну систему, здатну навчатися та адаптуватися під час демонстрації користувачем. Дослідження демонструє ефективність системи в реальних умовах, підкреслюючи унікальні виклики, пов’язані з взаємодією в домогосподарствах.

Дослідження визнає нещодавній прогрес у накопиченні великих наборів даних з робототехніки та підкреслює особливість їхнього набору даних, зосередженого на взаємодії роботів у домогосподарствах та від першої особи. Використовуючи можливості iPhone, набір даних пропонує високоякісну інформацію про дії та їхню глибину. Дослідження підкреслює важливість попереднього навчання в домені для отримання узагальнюючих уявлень порівняно з існуючими моделями уявлень, орієнтованими на маніпуляції. Крім того, визнано потенційні покращення від доповнення набору даних позадоменною інформацією з побутових відео, знятих нероботами.

У дослідженні розглядаються проблеми створення комплексного домашнього асистента з акцентом на ефективності, безпеці та комфорті користувача. DobbE представлений як фреймворк, що втілює ці принципи, інтегруючи великі масиви даних, сучасне машинне навчання та людські демонстрації. У дослідженні обговорюється налаштування апаратного забезпечення, набір даних Homes of New York з різноманітними демонстраціями, а також методи самоконтролюючого навчання для моделей зору.

Фреймворк поведінкового клонування, підмножина імітаційного навчання, використовується для навчання DobbE імітації поведінки людини або експерта-агента. Апаратне забезпечення полегшує безперешкодний збір та передачу демонстраційних даних на робота, використовуючи різноманітні дані з домогосподарств, включаючи вимірювання одометрії iPhone. Фундаментальні моделі попередньо навчаються на цих даних і тестуються в реальних будинках. DobbE продемонстрував 81% успіху в незнайомому домашньому середовищі після мінімальної демонстрації та адаптації.

Протягом 30 днів у 10 різних будинках DobbE успішно виконав 102 зі 109 завдань, продемонструвавши ефективність простих методів, таких як клонування поведінки за допомогою моделі ResNet для візуального представлення та двошарової нейронної мережі для прогнозування дій. Дослідження включає регресійний аналіз часу виконання завдань та їх складності, а також експерименти з абляції для оцінки різних компонентів системи.

На закінчення, DobbE виявився економічно ефективною і універсальною роботизованою маніпуляційною системою з вражаючим показником 81% успіху в різних домашніх умовах. Відкрите програмне забезпечення, моделі, дані та апаратні розробки DobbE сприяють просуванню досліджень домашніх роботів і заохочують широке впровадження роботів-помічників. Успіх DobbE пояснюється його потужними, але простими методами, які дають глибоке розуміння проблем виконання завдань у реальному світі.