06.05.2024 12:48
NASGraph прискорює пошук нейронної архітектури
Сфера пошуку нейронних архітектур (NAS), всупереч своїй перспективності, довгий час стикалася з обчислювальними обмеженнями.
Традиційні методи NAS вимагали тривалого навчання для кожної архітектури-кандидата, що призводило до значних витрат часу та ресурсів. NASGraph пропонує новий підхід до мінімізації обчислювального навантаження на мережеві сховища, що може змінити ситуацію.
NASGraph працює шляхом перетворення архітектур-кандидатів у графові представлення, що докорінно змінює процес оцінки. Замість повних циклів навчання він використовує метрики графів для ефективної оцінки продуктивності архітектури. Це досягається шляхом сегментації нейронної мережі на блоки графів, оцінки внесків каналів вводу-виводу за один прямий прохід та формування зважених ребер у графовому представленні.
Ключова інновація полягає в тому, що NASGraph обчислює середній ступінь як міру якості, зменшуючи обчислювальні витрати за допомогою сурогатних моделей. Завдяки зменшенню каналів, комірок пошуку на модуль та самих модулів, NASGraph досягає значного прискорення, хоча і з невеликими втратами в точності, як це було продемонстровано в оцінках, проведених EcoNAS.
Ефективність NASGraph продемонстровано під час ретельного тестування на таких бенчмарках NAS, як NAS-Bench-101, NAS-Bench-201 і TransNAS-Bench-101. Він демонструє міцну взаємозалежність між середнім показником ступеня і фактичною продуктивністю архітектури, перевершуючи попередні методи NAS без навчання і демонструючи низьку упередженість до конкретних операцій. Інтеграція з додатковими метриками, такими як коваріація Якобіана, ще більше підвищує точність ранжування, забезпечуючи найсучасніші рейтингові кореляції Спірмена, що перевищують 0,8 на відомих наборах даних.
Таким чином, NASGraph революціонізує NAS завдяки своїй методології на основі графів, усуваючи обчислювальне вузьке місце, притаманне традиційним підходам. Його чудова продуктивність, неупередженість, універсальність для різних наборів даних та ефективність є значним кроком на шляху до швидкого дослідження нейронної архітектури, що обіцяє революційні моделі ШІ в різних галузях.
)
)
)
)
)
)
)
)
