Досягнення високоякісної 3D-сегментації будь-якого об’єкта в заданій сцені

Дослідники з Гонконгського університету науки і технологій, Університету Карнегі-Меллона та Дартмутського коледжу спільно розробили метод SANeRF-HQ (Segment Anything for NeRF in High Quality), який революціонізував 3D-сегментацію у складних сценаріях. Долаючи обмеження попередніх методів на основі NeRF, SANeRF-HQ поєднує в собі сильні сторони моделі Segment Anything Model (SAM) і нейронних полів радіантності (NeRF), щоб підвищити точність і забезпечити високоякісну 3D-сегментацію.

У складних умовах NeRF стикається з перешкодами, що стало поштовхом до розробки SANeRF-HQ, який інтегрує SAM для сегментації об’єктів навколишнього середовища у відкритому просторі до NeRF для агрегації інформації. Цей підхід перевершує попередні методи NeRF, пропонуючи покращену гнучкість у локалізації об’єктів і послідовну сегментацію з різних точок зору. Кількісні оцінки наборів даних NeRF підкреслюють потенціал SANeRF-HQ для розвитку 3D комп’ютерного зору та сегментації.

У той час як NeRF досягає успіху в синтезі синтезу зображення, SANeRF-HQ представляє SAM для сегментації зовнішнього середовища, забезпечуючи узагальнення з нульового кадру і перевершуючи Semantic-NeRF і DFF, які покладаються на обмежені попередньо навчені моделі. Використовуючи SAM для різноманітних підказок, SANeRF-HQ досягає високоякісної 3D-сегментації та агрегації інформації за допомогою NeRF, вирішуючи проблеми в складних сценаріях і перевершуючи своїх попередників.

Архітектура SANeRF-HQ включає в себе контейнер функцій, декодер масок і агрегатор масок для чудової 3D-сегментації. Вона кодує особливості SAM, генерує проміжні маски і інтегрує 2D-маски в 3D-простір, використовуючи поля кольору і щільності NeRF. Система відмінно справляється з текстовою і автоматичною 3D-сегментацією, використовуючи відео з NeRF-рендерингом і функцію автоматичної сегментації SAM.

Досконалість методу в сегментації 3D-об’єктів, продемонстрована завдяки чудовій продуктивності на різних наборах NeRF-даних, позиціонує SANeRF-HQ як новаторську технологію в цій галузі. Його потенціал динамічного NeRF, заснований на текстових підказках і автоматичній 3D-сегментації, демонструє досягнення в точності сегментації завдяки таким функціям, як поле щільності, схожість RGB і втрата RGB в парі променів. Ці вдосконалення заповнюють відсутні деталі інтер’єру та уточнюють межі, що призводить до візуально покращених і більш надійних результатів сегментації.

На закінчення, SANeRF-HQ представляє передову технологію 3D-сегментації, яка перевершує попередні методи NeRF за гнучкістю та узгодженістю з різних точок зору. Його успіх на різноманітних наборах даних NeRF натякає на його значний внесок у 3D комп’ютерний зір і сегментацію. Майбутні напрямки досліджень можуть вивчати його застосування в 4D динамічній сегментації об’єктів, складних сценаріях та інтеграції з передовими методами, забезпечуючи масштабованість та ефективність для практичних застосувань. Дослідження користувачів можуть забезпечити цінний зворотній зв’язок щодо його реальної корисності та ефективності, що сприятиме подальшій оптимізації та вдосконаленню.