Адаптивні шари для ефективного нейронного рендерингу полів радіантності від Nvidia AI

Дослідники Nvidia представили формулу нейронного поля випромінювання для синтезу візуалізації, яка плавно переходить від об’ємного рендерингу до рендерингу на основі поверхонь. Цей метод оптимізує процес рендерингу, адаптуючись до характеристик сцени, створюючи сітчасту оболонку навколо нейронного об’ємного відображення. Це значно підвищує швидкість рендерингу, особливо в суцільних областях, де достатньо однієї піксельної вибірки. Завдяки експериментам запропонований метод демонструє високу точність рендерингу і відкриває можливості для таких додатків, як анімація та моделювання.

На основі нейронної імпліцитної поверхні (NeuS), формулювання нейронного поля випромінювання (NeRF), дослідження вводить адаптивні оболонки для ефективного рендерингу. Цей метод динамічно налаштовує свій метод рендерингу на основі параметрів сцени, використовуючи вивчений розмір ядра, що змінюється в просторі, для значного зменшення необхідної кількості зразків. Враховуючи обчислювальну складність NeRF, цей підхід досліджує стратегії прискорення і вигідно відрізняється від підходів на основі поверхонь, демонструючи порівнянні результати при значно швидшому виведенні, що робить його добре придатним для додатків анімації та фізичного моделювання.

Дослідження спрямоване на зменшення обчислювальних витрат NeRF у синтезі нового вигляду з високою роздільною здатністю в реальному часі шляхом впровадження підходу адаптивної оболонки. Він поєднує явну геометрію з NeRF, призначаючи різні стилі рендерингу для різних областей сцени. Цей підхід значно зменшує кількість зразків, необхідних для рендерингу, зберігаючи або покращуючи якість сприйняття. Мета полягає в тому, щоб підвищити ефективність NeRF без шкоди для їхньої високої візуальної точності, уможливлюючи більш практичне застосування в реальному часі для представлення та синтезу 3D-сцен у реальному часі.

Використання явних сітьових оболонок навколо поверхонь зменшує кількість необхідних зразків для рендерингу, зберігаючи при цьому якість. Запропонований метод, представлений трикутними сітками, окреслює важливі області для візуалізації зовнішнього вигляду. Метрики оцінки включають PSNR, LPIPS, SSIM та кількість вибірок на піксель вздовж променів, що дає уявлення про якість рендерингу та обчислювальну складність. Підхід демонструє ефективність та покращення візуальної точності при рендерингу 3D сцен.

Підхід адаптивної оболонки, що зменшує кількість необхідних зразків рендерингу, зберігаючи при цьому високу точність, полегшує роботу наступних додатків, таких як анімація та моделювання. Перевершення базових показників за всіма метриками підкреслює його ефективність, особливо на наборі даних MipNeRF360. Результати на наборі даних DTU ще більше ілюструють якість візуалізації зображень. Комплексне використання різних метрик дає уявлення про обчислювальну складність методу та його загальну продуктивність.

Дослідження досягло порівнянної з базовими показниками продуктивності за такими метриками, як пікове відношення сигнал/шум (PSNR), навчена перцептивна схожість фрагментів зображення (LPIPS) та індекс структурної схожості (SSIM), що свідчить про ефективність методу. Поєднання NeuS та просторово змінного розміру ядра покращує рендеринг NeRF, пропонуючи подальше прискорення за допомогою методів попереднього обчислення виходів нейронних полів. Визнаючи обмеження в захопленні тонких структур, дослідження пропонує ітеративні процедури для майбутньої роботи. Воно передбачає розвиток комп’ютерної графіки в реальному часі завдяки синергії нейронних репрезентацій і високопродуктивних методів.

Рекомендації для подальшої роботи включають вивчення ітеративних процедур для покращення реконструкції та ітеративної адаптації оболонки. Дослідження також пропонує дослідити синергію новітніх нейронних репрезентацій з методами графіки в реальному часі, подальше покращення точності поверхонь за допомогою SDF та глобального розміру ядра, можливо, за допомогою регуляризації. Запропоновано поєднання підходу адаптивної оболонки з попередньо обчисленими виходами нейронних полів на дискретній сітці для додаткового прискорення. Усунення обмежень у захопленні тонких структур і зменшення артефактів за допомогою ітеративних процедур і алгоритмічних удосконалень визначено як напрямок для майбутніх досліджень.