NTU та дослідники Meta Research представили URHand

Дослідники з Codec Avatars Lab, Meta та Наньянського технологічного університету запровадили URHand — новітню модель цифрової кисті руки. Ця модель спрямована на вирішення проблем створення фотореалістичних, персоналізованих і легковажних цифрових моделей рук для різноманітних віртуальних середовищ, що сприятиме більш захоплюючому користувацькому досвіду.

Ключові особливості та підходи URHand:

• Поєднання фізичного рендерингу та нейронного підсвічування: URHand поєднує в собі сильні сторони як фізичної моделі рендерингу, так і нейронного підходу до підсвічування. Ця комбінація спрямована на досягнення фотореалізму в реальному часі при збереженні точності в оцінці параметрів матеріалу.
• Узагальнення точок зору, рухів, освітлення та ідентичності: URHand розроблений для узагальнення різних факторів, включаючи точки зору, рухи, освітлення та ідентичність. Таке перехресне узагальнення ідентичностей є ключовим аспектом створення універсальної моделі руки.
• Одноступеневий процес навчання: Модель використовує одноступеневий процес навчання, що полегшується збереженням лінійності. Цей підхід допомагає збалансувати узагальнення і точність при створенні фотореалістичних моделей рук.
• Модель лінійного освітлення, що змінюється в просторі: URHand представляє лінійну модель освітлення, що змінюється в просторі, яка враховує відомі фізичні закони, такі як лінійність поширення світла. Ця модель сприяє узагальненню зовнішнього вигляду руки до довільного освітлення.
• Паралельні гілки рендерингу: Модель має дві паралельні гілки рендерингу — фізичну та нейронну — обидві спільно навчаються для покращення геометрії та забезпечення точних характеристик затінення для остаточного вигляду. Фізична гілка використовує параметричний BRDF для покращення геометрії, в той час як нейронна гілка використовує лінійну модель освітлення для зміни освітлення в реальному часі.

Порівняльні оцінки з найсучаснішими методами 3D-реалізації та реконструкції освітлення рук, включаючи RelightableHands і Handy, демонструють значну перевагу URHand у навчанні за кожною ідентифікацією. URHand чудово відтворює детальну геометрію, дзеркальність і тіні, перевершуючи якість інших методів. Його здатність до узагальнення очевидна навіть на утриманих піддослідних, де він перевершує базові показники зі значним відривом.

Таким чином, URHand є проривом у галузі цифрового моделювання кисті руки, пропонуючи універсальне рішення, яке вирізняється фотореалістичністю, персоналізацією та легкістю відтворення. Гібридний підхід моделі, що поєднує фізично обґрунтоване лінійне освітлення, яке змінюється в просторі, та нейро-фізичну систему навчання, демонструє масштабованість та адаптивність поза межами студійних даних, дозволяючи швидку персоналізацію на основі сканування телефону.