Новий метод штучного інтелекту для реконструкції геометрії людського волосся на основі відео або зображень

Дослідники з Samsung AI Center, Rockstar Games, FAU Erlangen-Nurnberg та Cinemersive Labs пропонують абсолютно нову техніку моделювання на основі зображень, яка може виділити людське волосся з декількох видів фотографій або відеокадрів. Через свою дуже складну геометрію, фізику та відбиття, реконструкція волосся є одним з найскладніших завдань у 3D-моделюванні людини. Тим не менш, вона необхідна для багатьох застосувань, включаючи ігри, телеприсутність і спецефекти. 3D-полілінії, або “пасма”, є найпопулярнішим способом зображення волосся в комп’ютерній графіці, оскільки їх можна використовувати для фізичного моделювання та реалістичного рендерингу. Сучасні системи реконструкції людини на основі зображень і відео часто імітують зачіски, використовуючи структури даних з меншою кількістю ступенів свободи, які простіше оцінити, включаючи об’ємні представлення або сітки із заданою топологією.

Як наслідок, ці методи часто призводять до надмірно згладженої геометрії волосся, і вони можуть точно відтворити лише “зовнішню оболонку” зачіски, не передаючи її основну структуру. Використовуючи світлові сцени, контрольоване освітлювальне обладнання та щільну систему зйомки з синхронізованими камерами, можна зробити точну реконструкцію волосся на основі пасм. Нещодавно, залежно від організованого або послідовного освітлення та калібрування камери для прискорення процесу реконструкції, вдалося досягти дивовижних результатів. В останньому дослідженні також було використано ручне покадрове позначення напрямків росту волосся для створення фізично достовірних реконструкцій. Складне налаштування зйомки і трудомісткі вимоги до попередньої обробки роблять такі технології непрактичними для багатьох практичних застосувань, незважаючи на видатну якість отриманих результатів.

Деякі алгоритми моделювання зачісок, що базуються на навчанні, використовують попередні дані про волосся, знайдені на основі синтетичних даних на основі пасм, щоб пришвидшити процес збору даних. Однак кількість навчальних даних є природним визначником точності цих підходів. Оскільки більшість існуючих наборів даних містять лише кілька сотень зразків, вони повинні бути більшими, щоб належним чином впоратися з різноманітністю людських зачісок, що призводить до низької якості реконструкції. У цьому дослідженні представлено метод моделювання волосся, який працює в умовах неконтрольованого освітлення і потребує даних на основі зображень або відео без будь-яких додаткових користувацьких коментарів. Для цього вони створили двоетапний процес реконструкції. Грубе об’ємне відновлення волосся на першому етапі повністю базується на даних і використовує неявні об’ємні уявлення. Другий етап, відомий як тонка реконструкція на основі пасом, працює на рівні окремих пасом волосся і в основному залежить від попередніх даних, знайдених з крихітного синтетичного набору даних. Для областей волосся і бюста (голова і плечі) відтворюються неявні поверхневі представлення, отримані на першому етапі.

Крім того, порівнюючи їх з напрямками волосся, показаними на навчальних картинках або 2D картах орієнтації з використанням диференційованої проекції, вони можуть вивчити поле напрямків росту волосся, яке вони називають 3D орієнтацією. Хоча це поле може допомогти краще підігнати форму волосся, його основне застосування полягає в тому, щоб обмежити оптимізацію пасм волосся на другому етапі. Для генерації карт орієнтації волосся з вхідних кадрів використовується традиційний метод, заснований на градієнтах зображення.

Для створення реконструкцій на основі пасм на другому етапі використовуються попередньо навчені прекурсори. Вони використовують розширену параметричну модель, навчену на синтетичних даних за допомогою автокодера, щоб представити окремі пасма волосся та їхній спільний розподіл або всю зачіску. Таким чином, за допомогою процедури оптимізації, цей етап узгоджує грубу реконструкцію волосся, досягнуту на попередньому етапі, з попередніми даними, отриманими на основі навчання. Нарешті, вони використовують новий рендеринг волосся, заснований на м’якій растеризації, щоб підвищити реалістичність відновлених зачісок за допомогою диференційованого рендерингу.

Підсумовуючи, можна сказати, що їхній внесок полягає в наступному:

• Покращений підхід до підготовки пасм перед моделюванням;
• Метод 3D-реконструкції голови людини для областей грудей та волосся, що включає орієнтацію волосся;
• Глобальне моделювання зачісок з використанням латентної дифузії, яка “взаємодіє” з параметричною моделлю пасм;
• Методологія диференційованої м’якої растеризації волосся, яка дає точніші реконструкції, ніж попередні методи рендерингу;
• Метод припасування пасм поєднує в собі всі вищезгадані елементи для створення чудових реконструкцій людського волосся на рівні пасм.