Як ШІ може вимірювати невизначеність у нейронних полях випромінювання

Створення 3D-моделей забезпечує більш захоплююче та реалістичне представлення середовища порівняно з 2D-зображеннями. Ці моделі дозволяють користувачам досліджувати і взаємодіяти зі сценами з різних ракурсів, покращуючи просторове розуміння і сприйняття глибини.

3D-моделі відіграють вирішальну роль у додатках віртуальної реальності (VR) і доповненої реальності (AR). Вони полегшують накладання цифрового контенту на реальний світ (AR) і створення повністю віртуальних середовищ (VR), покращуючи користувацький досвід в іграх, освіті, навчанні та різних галузях.

Однією з визначних технік реконструкції та рендерингу 3D-сцен є нейронні поля випромінювання (NeRF). NeRF розглядають сцену як тривимірний об’єм, кожній точці якого присвоюється колір (сяйво) і щільність. За допомогою нейронних мереж вони передбачають колір і щільність кожної точки на основі 2D-зображень, знятих з різних точок зору.

Хоча NeRF мають багато застосувань, таких як синтез вигляду і оцінка глибини, навчання на багаторакурсних зображеннях вносить невизначеність, притаманну цим зображенням. Існуючі методи кількісної оцінки цієї невизначеності є або евристичними, або обчислювально-інтенсивними. Дослідники з Google DeepMind, Adobe Research та Університету Торонто представили нову методику під назвою BayesRays.

BayesRays забезпечує основу для оцінки невизначеності в попередньо навчених моделях NeRF без зміни процесу навчання. Цей підхід передбачає включення об’ємного поля невизначеності з використанням просторових збурень і застосування Байєсівського наближення Лапласа. Байєсівське наближення Лапласа – це математичний метод, який використовується для оцінки складних розподілів ймовірностей за допомогою більш простих багатовимірних гауссових розподілів.

Невизначеності, розраховані за допомогою BayesRays, є статистично значущими і можуть бути візуалізовані у вигляді додаткових кольорових каналів. Цей метод перевершує попередні методи за такими важливими показниками, як кореляція з реконструйованими похибками глибини. BayesRays використовує імовірнісний підхід plug-and-play для кількісної оцінки невизначеності в попередньо навчених NeRF, незалежно від їхніх архітектурних відмінностей. Ця робота представляє практичний поріг для видалення артефактів у реальному часі з попередньо навчених нейронних мереж.

Дослідники черпали натхнення з об’ємних полів, що використовуються для моделювання 3D-сцен, та полів деформації, що застосовуються для маніпулювання неявно представленими об’єктами. Їхній підхід має схожість з фотограмметрією, де реконструкція невизначеності передбачає розміщення гауссових розподілів на визначених просторових позиціях.

Варто зазначити, що цей алгоритм призначений для кількісної оцінки невизначеності саме в NeRF і не може бути безпосередньо застосований до інших фреймворків. Однак у майбутній роботі дослідники планують дослідити розробку наближення Лапласа на основі деформації, пристосованого до нових просторових представлень, таких як 3D-гаусове розсіювання, в майбутньому.