Попрощайтеся з химерними дзеркалами завдяки Mirror-NeRF

Нейронні поля радіантності (NeRF) поєднують у собі рекурентні нейронні мережі (RNN) та конволюційні нейронні мережі (CNN), що дозволяє вловлювати складні фізичні характеристики об’єктів, включаючи їхні форми, матеріали та текстури. Ця технологія дозволяє створювати реалістичні зображення об’єктів за різних умов освітлення, що є безцінним інструментом у таких галузях, як медицина, робототехніка та розваги, для створення високоякісних візуальних ефектів.

Вирішуючи проблему 3D-реконструкції та рендерингу за допомогою дзеркал, які часто зустрічаються в реальному світі, дослідники з Чжецзянського університету розробили Mirror-NeRF. Ця інновація забезпечує точний рендеринг віддзеркалень у дзеркалах завдяки введенню ймовірностей та використанню трасування променів на основі моделі транспортування світла Whitted Ray Tracing. Завдяки Mirror-NeRF ефективно вирішуються складнощі, пов’язані з невідповідностями реконструкції дзеркал.

Серед методів NeRF, RefNeRF та NeRFReN всі три підходи мають спільну здатність генерувати дзеркальні відображення з нових перспектив шляхом інтерполяції раніше отриманих відображень. Однак ці методи мають обмеження, коли йдеться про надійну екстраполяцію віддзеркалень, які не зустрічалися під час навчання, або створення віддзеркалень для нових елементів чи дзеркал у сцені. Для подолання цих обмежень була розроблена нова методика Mirror-NeRF, яка ефективно використовує фізичне трасування променів у процесі нейронного рендерингу, забезпечуючи точну побудову дзеркальних відображень і полегшуючи різні додатки для модифікації сцен.

Щоб оцінити ефективність Mirror-NeRF, дослідники розробили п’ять синтетичних і чотири реальних набори даних. Вони провели кількісну оцінку нового синтезу зображення, використовуючи такі метрики, як пікове відношення сигнал/шум (PSNR), індекс структурної схожості (SSIM) та вивчена перцептивна схожість патчів зображення (LPIPS). Враховуючи, що на якість віддзеркалень суттєво впливає нерівна поверхня дзеркала, процес оптимізації включав введення декількох регуляризаційних умов. Увімкнувши всі умови регуляризації, дослідники досягли точних дзеркальних відображень з найвищою якістю зображення.

Дослідження показало, що NeRF, Ref-NeRF і NeRFReN стикаються з труднощами при створенні точних відображень об’єктів з високочастотними змінами кольору. Прикладами таких проблем були спотворені зображення картини в дзеркалі переговорної кімнати, розмиті відображення штор у дзеркалах офісу та вітальні, а також “затуманений” вигляд одягу в дзеркалі магазину одягу. На противагу цьому, нещодавно представлений метод продемонстрував здатність відтворювати детальні відображення шляхом ефективного відстеження відбитих променів. Незважаючи на значний прогрес у вирішенні проблем, пов’язаних з дзеркалами, дослідники ще не інтегрували розгляд заломлення в рамках цієї концепції.

Таким чином, ця розробка відкриває нові можливості у сфері ігор та кіновиробництва. Художники тепер мають можливість досліджувати складні візуальні ефекти та використовувати техніки маніпуляції з дзеркалами, наприклад, замінювати дзеркальні відображення альтернативними сценами. Забезпечуючи узгодженість між кількома видами, стає можливим генерувати фотореалістичні зображення цих нових сцен у дзеркалах. Ця інновація має великі перспективи для покращення творчого сторітелінгу та візуального досвіду в обох індустріях.