Чи може синтез зображення в реальному часі бути одночасно якісним і швидким?

Синтез зору в реальному часі, передова технологія в комп’ютерній графіці, змінює наше сприйняття та взаємодію з віртуальними середовищами. Сучасний підхід, що використовує передові алгоритми та методи глибокого навчання, сприяє миттєвому створенню динамічних та захоплюючих сцен з довільних точок зору, плавно поєднуючи реальний та віртуальний світи. Його потенційні застосування у віртуальній та доповненій реальності є широкими, розсуваючи межі візуального реалізму та залучення користувачів.

Команда дослідників з Google DeepMind, Google Research, Google Inc, Тюбінгенського центру штучного інтелекту та Тюбінгенського університету представила SMERF (Streamable Memory Efficient Radiance Fields) — метод, який дозволяє в режимі реального часу синтезувати об’ємні сцени на пристроях з обмеженими ресурсами з якістю, порівнянною з провідними офлайн-методами. SMERF легко масштабується до локацій площею в сотні квадратних метрів і сумісний з браузерами, що робить його ідеальним для дослідження великих просторів на повсякденних пристроях, таких як смартфони. Ця проривна технологія долає розрив між рендерингом у реальному часі та високоякісним синтезом сцен, пропонуючи доступне та ефективне рішення для створення захоплюючих вражень на обмежених платформах.

Останні досягнення в області нейронних полів радіантності (NeRF) зосереджені на підвищенні швидкості та якості, досліджуючи такі методи, як попереднє обчислення залежних від вигляду функцій та різного типу налаштування параметрів. Підхід MERF поєднує розріджені воксельні сітки низького рангу, що дозволяє рендерити великі сцени в реальному часі в умовах обмеженого обсягу пам’яті. Шляхом розбиття високоточної Zip-NeRF моделі на субмоделі на основі MERF досягається візуалізація в реальному часі з порівнянною якістю. Дослідження також досліджує методи синтезу зображення на основі растеризації, розширюючи розбиття на основі камери, щоб уможливити рендеринг надзвичайно великих сцен у реальному часі завдяки взаємній узгодженості та регуляризації під час навчання.

Дослідження пропонує масштабований підхід до рендерингу в реальному часі великих 3D-сцен з використанням полів радіантності, що перевершує попередні компроміси між якістю, швидкістю та розміром представлення. Досягаючи візуалізації в реальному часі на звичайному обладнанні, метод використовує архітектуру плиткової моделі зі спеціалізованими підмоделями для різних точок зору, підвищуючи продуктивність моделі при одночасному контролі за використанням ресурсів.

Метод SMERF призначений для дослідження великих сцен у реальному часі, використовуючи архітектуру плиткової моделі зі спеціалізованими підмоделями для різних точок зору. Візуалізація в реальному часі досягається за допомогою процедури навчання дистиляції, що забезпечує контроль кольору та геометрії для сцен, порівнянних за масштабом та якістю з найсучаснішими моделями. Розбиття на частини на основі камери полегшує рендеринг дуже великих сцен, підсилений об’ємними вагами рендерингу. Для інтерполяції параметрів використовується трилінійна інтерполяція, а кольори, залежні від виду, декодуються відповідно до заданого рівняння, що сприяє ефективності та результативності методу.

SMERF досягає синтезу зображення в реальному часі для великих сцен на різноманітних пристроях, наближаючись до якості найсучасніших офлайн-методів. Працюючи на пристроях з обмеженими ресурсами, включаючи смартфони, процес перевершує за точністю порівняно з MERF і 3DGS, особливо при збільшенні просторового поділу. Модель демонструє чудову точність реконструкції, що наближається до точності свого вчителя Zip-NeRF, з мінімальними розривами в PSNR і SSIM. Цей масштабований підхід дозволяє рендерити в реальному часі великі багатокімнатні простори на звичайному обладнанні, демонструючи його універсальність і точність.

На закінчення, дослідження представляє передову, масштабовану та адаптовану методу для рендерингу об’ємних просторів у реальному часі. Вона досягає значної віхи, переконливо генеруючи необмежені, багатокімнатні простори в реальному часі на стандартному обладнанні. Впроваджена архітектура плиткової моделі та процедура навчання дистиляції поля випромінювання забезпечують високу точність та узгодженість на різноманітних пристроях. Цей підхід долає розрив з існуючими офлайн-методами у якості рендерингу та дозволяє синтезувати вигляд у реальному часі.