
12.10.2023 14:06
Швидший та ефективніший метод дистиляції для перетворення тексту в зображення
Моделі дифузії текст-зображення, навчені на великих наборах даних, стали домінуючою силою в генеративних задачах, оскільки вони дають високоякісні та різноманітні результати. Останнім часом ці моделі застосовують для задач перетворення зображень, таких як зміна, покращення або надвисока роздільна здатність зображень, керуючи згенерованими результатами за допомогою дифузії. Процес дифузії покращує візуальну якість умовно згенерованих зображень. Однак дифузійні моделі часто вимагають багато ітерацій, що робить їх повільними, особливо для синтезу зображень високої роздільної здатності.
Були зроблені спроби прискорити дифузійну вибірку за допомогою методів дистиляції, зменшуючи кількість необхідних кроків. Нещодавні дослідження показують, що ці методи також можна застосовувати для згущення великомасштабних моделей дифузії текст-зображення, які вже були навчені. Отримана дистильована модель може добре виконувати різні умовні завдання.

Часто використовується двоетапний процес дистиляції, який починається або з дистиляції, або з умовного тонкого налаштування, кожен з яких має свої переваги. Однак у цій роботі представлено свіжий метод дистиляції, який слідує одностадійному підходу, починаючи з безумовної попередньої підготовки і закінчуючи конденсованою моделлю умовної дифузії. Цей метод значно прискорює відбір зразків, зберігаючи при цьому високу якість результатів, і є більш практичним, оскільки усуває потребу в оригінальних даних перетворення тексту в зображення, необхідних у попередніх процесах дистиляції.
Крім того, це дослідження підкреслює потребу в ефективних методах дистиляції з урахуванням параметрів при умовній генерації. Запропонований підхід пропонує механізм ефективної дистиляції з урахуванням параметрів. Додаючи мінімальну кількість параметрів, що вивчаються, він трансформує і прискорює модель безумовної дифузії для умовних задач. Цей підхід підвищує корисність різних умовних задач і сумісний з іншими ефективними методами налаштування параметрів, такими як T2I-Adapter і ControlNet. Він забезпечує новий і ефективний спосіб виконання завдань умовної генерації.