Алгоритм машинного навчання, який покращує роздільну здатність глибоких нейронних мереж

Глибокі функції відіграють вирішальну роль у розвитку можливостей комп’ютерного зору, дозволяючи дослідникам заглиблюватися в семантику зображень і вирішувати різноманітні завдання навіть за обмеженої доступності даних.

Останні досягнення зосереджені на вилученні ознак з різних типів даних, таких як зображення, текст і аудіо, формуючи основу для додатків від класифікації до семантичної сегментації, нейронного рендерингу і новітніх методів генерації зображень. Глибокі функції продовжують стимулювати інновації в комп’ютерному зорі, розширюючи сферу можливостей в цій галузі.

Незважаючи на широке застосування, глибинні функції часто стикаються з проблемами в завданнях, що вимагають щільних прогнозів, таких як сегментація і оцінка глибини, внаслідок інтенсивного об’єднання інформації, що знижує просторову роздільну здатність. Наприклад, такі моделі, як ResNet-50, значно ущільнюють вхідні дані, створюючи перешкоди у використанні глибоких функцій для задач, що вимагають точної просторової інформації.

Щоб вирішити ці виклики, спільними зусиллями дослідників з MIT, Google, Microsoft та Adobe було створено FeatUp — модельно-діагностичну платформу, призначену для відновлення втраченої просторової інформації в глибоких функціях. FeatUp пропонує два режими: один з них направляє об’єкти за допомогою сигналу високої роздільної здатності за один прямий прохід, тоді як інший використовує неявну модель для реконструкції об’єктів з будь-якою роздільною здатністю на основі одного зображення. Ці реконструйовані об’єкти зберігають свою оригінальну семантику і можуть легко замінити існуючі об’єкти, що призводить до підвищення роздільної здатності та продуктивності без необхідності перенавчання.

FeatUp перевершує інші методи збільшення вибірки об’єктів і надвисокої роздільної здатності зображень у таких задачах, як генерація карт активації класів і прогнозування глибини, завдяки втраті консистентності при багаторазовому перегляді. У дослідницькій статті описано етапи розробки FeatUp, включаючи генерування представлень об’єктів низької роздільної здатності, побудову послідовної карти об’єктів високої роздільної здатності та навчання апсемплерів на наборі даних ImageNet.

Важливою оптимізацією, впровадженою у FeatUp, є стиснення просторово мінливих об’єктів до їхніх головних компонент, що значно зменшує обсяг пам’яті і час навчання, зберігаючи при цьому якість об’єктів. Це вдосконалення дозволяє FeatUp обробляти більші партії даних і прискорює навчання для таких моделей, як ResNet-50.

Таким чином, FeatUp представляє собою новий підхід до підвищення рівня дискретизації складних об’єктів з використанням узгодженості декількох видів, що вирішує критично важливу проблему в комп’ютерному зорі. Його здатність вивчати високоякісні об’єкти з довільною роздільною здатністю і перевершувати різні базові показники в різних завданнях демонструє його потенціал для подальшого прогресу в галузі комп’ютерного зору.