Навчання з підкріпленням дозволяє підводним роботам знаходити і відстежувати об’єкти під водою

Новаторська співпраця між Інститутом морських наук (ICM-CSIC) в Барселоні, Дослідницьким інститутом акваріумів Монтерей-Бей (MBARI) в Каліфорнії, Політехнічним університетом Каталонії (UPC) і Жиронським університетом (UdG) продемонструвала надзвичайний потенціал навчання з підкріпленням для підводних роботів і автономних транспортних засобів. Дослідження команди, опубліковане в журналі Science Robotics, вперше показало, що навчання з підкріпленням – підхід на основі нейронних мереж, який дозволяє машинам навчатися найкращим діям на основі винагороди, – було успішно застосовано для того, щоб морські роботи могли точно знаходити і відстежувати морські об’єкти і тварин.

Оскільки підводна робототехніка стає все більш важливим інструментом для дослідження океану, здатність цих апаратів працювати на глибинах до 4 000 метрів дозволяє отримувати цінні натурні дані, які доповнюють супутникові спостереження. Дослідницька група виявила, що навчання з підкріпленням дозволяє підводним роботам оптимізувати свої дії в режимі реального часу для досягнення конкретних цілей. Навчивши нейронні мережі вивчати ці оптимізовані траєкторії, роботи можуть знаходити і відстежувати рухомі об’єкти під водою більш ефективно і результативно.

Іван Масмітья, провідний автор дослідження, підкреслює, що такий тип навчання дозволяє нейронним мережам оптимізувати завдання, які в іншому випадку було б складно виконати. Дослідники змогли продемонструвати успішну оптимізацію траєкторій руху транспортних засобів для локалізації і відстеження підводних об’єктів. Ці досягнення мають глибокі наслідки для вивчення екологічних явищ, в тому числі міграції та переміщення морських видів, за допомогою автономних роботів.

Джоан Наварро, дослідниця з ICM-CSIC, підкреслює потенціал використання мережі роботів для моніторингу океанографічних інструментів в режимі реального часу, коли одні роботи розміщуються на поверхні, а інші передають інформацію від інших на морському дні через супутник.

Команда застосувала акустичні методи для оцінки положення об’єктів під водою, а потім інтегрувала навчання з підкріпленням для визначення найкращих точок і оптимізації траєкторії руху роботів. Нейронні мережі навчалися за допомогою комп’ютерного кластера в Барселонському суперкомп’ютерному центрі (BSC-CNS), що значно прискорило процес налаштування параметрів для різних алгоритмів.

Експериментальні місії були проведені з використанням різних автономних транспортних засобів, включаючи безпілотний літальний апарат Sparus II, розроблений компанією VICOROB. Випробування проходили в порту Сант-Феліу-де-Гішолс в Байш-Емпорда і в затоці Монтерей, Каліфорнія, у співпраці з Какані Катією, головним дослідником лабораторії Bioinspiration в MBARI.

Успіх цього дослідження відкриває нові можливості для проведення складних місій із залученням декількох транспортних засобів і методів кооперативного навчання. Майбутні програми можуть включати використання навчання з підкріпленням для вирішення складних завдань, таких як виявлення фронтів, термоклінів або спільного підйому водоростей за допомогою багатоплатформної співпраці.

Дослідження стало можливим завдяки Європейській індивідуальній стипендії імені Марії Кюрі, яку Іван Масмітья отримав у 2020 році, та проєкту BITER, що фінансується Міністерством науки та інновацій уряду Іспанії, який наразі триває. Зусилля команди значно розширили можливості підводної робототехніки та проклали шлях до інноваційних розвідок і досліджень в океанографії та морських науках.