Дослідники з Кембриджу використовують машинне навчання для створення управління інструментами віртуальної реальності

Дослідники Кембриджського університету заглиблюються у світ за межами класичних “гарячих” комбінацій клавіш, прагнучи революціонізувати 3D-взаємодію у віртуальній реальності. Їхнє творіння, “HotGestures”, використовує рухи рук для швидкої навігації по безлічі інструментів 3D-моделювання у VR-середовищі. Ця інноваційна система, створена завдяки машинному навчанню, повторює ефективність клавіатурних скорочень, але повністю покладається на інтуїтивні жести.

Людська залежність від візуальних підказок робить жести рукою бездоганним методом передачі інформації. HotGestures дозволяє користувачам швидко отримувати доступ до інструментів у віртуальній реальності та використовувати їх за допомогою простих жестів, покращуючи традиційну навігацію на основі меню. Завдяки ретельному користувацькому тестуванню команда помітила, що цей підхід, заснований на жестах, сприяє прискореному вибору інструментів та швидкому доступу до них, вражаючи користувачів своєю легкістю та зручністю, а також доповнюючи традиційну навігацію через меню. Цей метод дозволяє користувачам створювати віртуальні елементи, не відволікаючись на взаємодію з меню.

Традиційно гарячі клавіші були основним інструментом у десктопних програмах, пропонуючи прискорені команди для виконання рутинних функцій. Однак їхня ефективність залежить від того, наскільки користувач знайомий з конкретними командами. Дослідники з Кембриджу прагнули замінити їх HotGestures, використовуючи інтуїтивно зрозумілі жести для прямого доступу до таких функцій, як різання або розпилення, усуваючи необхідність навігації по меню або запам’ятовування ярликів.

Технологія включає в себе нейронну мережу, яка розпізнає жести і прогнозує рухи рук для запуску десяти різних дій для 3D-моделювання, таких як використання пера або створення фігур. Два випробування за участю 30 учасників продемонстрували ефективність і зручність HotGestures, які випереджають традиційні взаємодії на основі меню за швидкістю і зручністю використання. Ця інноваційна система стала доступною для розробників віртуальної реальності завдяки випущеним наборам даних і вихідним кодам для інтеграції в їхні додатки.