Чи можуть системи комп’ютерного зору визначати м’язову активність за відео?

Останнім часом сфера штучного інтелекту стала темою для обговорення. Чи то модель великої мови, що імітує людину, як GPT 3.5, заснована на обробці природної мови і розумінні природної мови, чи то модель перетворення тексту в зображення DALL-E, заснована на комп’ютерному зорі, ШІ торує свій шлях до успіху. Комп’ютерний зір, підгалузь штучного інтелекту, вдосконалюється з кожною новою програмою. Він став здатним аналізувати рухи людини на відео і таким чином вирішувати різні завдання, такі як оцінка пози, розпізнавання дій і передача рухів.

Хоча комп’ютерний зір досягнув значних успіхів у визначенні рухів людини, мова йде не лише про зовнішній вигляд. Кожна дія є наслідком того, що наш мозок передає електричні імпульси до нервів, які, в свою чергу, змушують наші м’язи скорочуватися, що в результаті призводить до руху суглобів. Дослідники докладають багато зусиль для розробки підходу, за допомогою якого можна змоделювати внутрішню м’язову активність, що забезпечує рухливість людини. Щоб просунутися в цих дослідженнях, двоє дослідників з Колумбійського університету представили новий унікальний набір даних під назвою “М’язи в дії” (Muscles in Action, MIA). Цей набір даних включає 12,5 годин синхронізованого відео та даних поверхневої електроміографії (sEMG) і фіксує десять суб’єктів, які виконують різні вправи.

Датчики поверхневої електроміографії (sEMG), які доступні в інвазивній та неінвазивній версіях, є традиційним інструментом для визначення м’язової активності. Дослідники розробили представлення, яке може передбачати активацію м’язів на основі відео і, з іншого боку, реконструювати рух людини на основі даних про активацію м’язів, використовуючи набір даних MIA. Основна мета полягає в тому, щоб зрозуміти складний зв’язок між основною м’язовою активністю та візуальною інформацією. Спільне моделювання обох модальностей дозволило створити модель, яка генерує рух, що відповідає активації м’язів.

Основною частиною цього проекту є фреймворк для моделювання зв’язку між рухами людини на відео та внутрішньою активністю м’язів, відображеною в сигналах sEMG. Дослідницька стаття, якою поділилася команда, дає короткий огляд відповідних робіт в області аналізу людської активності, умовної генерації рухів, мультимодального навчання, електроміографії та генерації рухів людини на основі фізики. Далі йде поглиблений опис і аналіз мультимодального набору даних.

Для оцінки дослідники експериментували як з учасниками та вправами в режимі розподіленого навчання, так і з суб’єктами та тренуваннями без розподіленого навчання, щоб визначити, наскільки добре працює їхня модель. Вони протестували модель на даних, які відрізняються від розподілу тренувань, і на даних, які подібні до даних, на яких вона навчалася. Ця оцінка допомагає підтвердити можливість узагальнення методології.

На закінчення, використання м’язів у системах комп’ютерного зору має безліч потенційних застосувань. За допомогою розуміння і симуляції внутрішньої роботи м’язів можна створювати багатші віртуальні моделі людини. Ці моделі можна використовувати в різноманітних реальних умовах, зокрема у спорті, фітнесі, доповненій і віртуальній реальності.