Нова технологія штучного інтелекту значно покращує навички розпізнавання роботів

Робот переміщує іграшкову упаковку вершкового масла по столу в Лабораторії інтелектуальної робототехніки та зору Техаського університету в Далласі. З кожним поштовхом робот вчиться розпізнавати об’єкт за допомогою нової системи, розробленої командою комп’ютерних вчених UT Dallas.

Нова система дозволяє роботу штовхати об’єкти кілька разів, поки не буде зібрана послідовність зображень, яка, в свою чергу, дозволяє системі сегментувати всі об’єкти в послідовності, поки робот не розпізнає об’єкти. Попередні підходи покладалися на один поштовх або захоплення роботом для «вивчення» об’єкта.

Команда представила свою дослідницьку роботу на конференції «Robotics: Science and Systems», що проходила з 10 по 14 липня в Тегу, Південна Корея. Доповіді на конференцію відбираються за новизною, технічною якістю, значущістю, потенційним впливом та зрозумілістю.

До того дня, коли роботи зможуть готувати обід, прибирати зі столу і спорожняти посудомийну машину, ще далеко. Але дослідницька група зробила значний крок вперед зі своєю роботизованою системою, яка використовує штучний інтелект, щоб допомогти роботам краще ідентифікувати і запам’ятовувати об’єкти, сказав д-р Ю Сян, старший автор статті.

«Якщо ви попросите робота підняти чашку або принести вам пляшку води, робот повинен розпізнати ці об’єкти», – сказав Сян, доцент комп’ютерних наук у Школі інженерії та комп’ютерних наук ім. Еріка Йонссона.

Технологія дослідників UTD покликана допомогти роботам виявляти широкий спектр об’єктів, що знаходяться в таких середовищах, як будинки, і узагальнювати або ідентифікувати схожі версії звичайних предметів, таких як пляшки з водою, які бувають різних марок, форм і розмірів.

У лабораторії Сян стоїть контейнер для зберігання іграшкових упаковок звичайних продуктів, таких як спагеті, кетчуп і морква, які використовуються для тренування лабораторного робота на ім’я Ramp. Ramp – це мобільний робот-маніпулятор від Fetch Robotics, який стоїть на круглій мобільній платформі заввишки близько 4 футів. Ramp має довгу механічну руку з сімома суглобами. На кінці – квадратна «кисть» з двома пальцями для захоплення предметів.

Сян каже, що роботи вчаться розпізнавати предмети подібно до того, як діти вчаться взаємодіяти з іграшками.

«Після натискання на об’єкт робот вчиться його розпізнавати», – каже Сян. «На основі цих даних ми тренуємо модель штучного інтелекту, щоб наступного разу, коли робот побачить об’єкт, йому не потрібно було штовхати його знову. Вдруге побачивши об’єкт, він просто підніме його».

Новим у методі дослідників є те, що робот штовхає кожен предмет від 15 до 20 разів, тоді як попередні інтерактивні методи сприйняття використовують лише один поштовх. Сян каже, що багаторазові поштовхи дозволяють роботу зробити більше фотографій за допомогою своєї RGB-D камери, яка включає датчик глибини, щоб дізнатися про кожен предмет більш детально. Це зменшує ймовірність помилок.

Завдання розпізнавання, диференціації та запам’ятовування об’єктів, яке називається сегментацією, є однією з основних функцій, необхідних роботам для виконання завдань.

«Наскільки нам відомо, це перша система, яка використовує довготривалу взаємодію роботів для сегментації об’єктів», – сказав Сян.

Нінад Харгонкар, докторант з комп’ютерних наук, сказав, що робота над проектом допомогла йому вдосконалити алгоритм, який допомагає роботу приймати рішення.

«Одна справа – розробити алгоритм і протестувати його на абстрактному наборі даних; інша справа – випробувати його на реальних завданнях», – сказав Харгонкар. «Побачити, як алгоритм працює в реальному світі – це був ключовий досвід навчання».

Наступним кроком дослідників є вдосконалення інших функцій, включаючи планування і контроль, що дозволить вирішувати такі завдання, як сортування перероблених матеріалів.

Серед інших авторів статті з UTD – аспірант комп’ютерних наук Янсяо Лу (Yangxiao Lu), старші викладачі комп’ютерних наук Цзешен Сюй (Zesheng Xu) і Чарльз Аверілл (Charles Averill), Камалеш Паланісамі (Kamalesh Palanisamy MS’23), доктор Юньхуй Го (Yunhui Guo), доцент комп’ютерних наук, і доктор Ніколас Руоцці (Nicholas Ruozzi), доцент комп’ютерних наук. Також брав участь доктор Кайю Ханг з Університету Райса.

Дослідження було частково підтримано Агентством передових оборонних дослідницьких проектів в рамках програми «Перцептивно керовані завдання», яка розробляє технології ШІ, що допомагають користувачам виконувати складні фізичні завдання, надаючи завдання з доповненою реальністю, щоб розширити їхні навички і зменшити кількість помилок.

В той же час дослідники з Массачусетського технологічного інституту та Стенфордського університету розробили новий підхід до машинного навчання, який може бути використаний для більш ефективного управління роботом в динамічному середовищі, де умови можуть швидко змінюватися.