Дослідники Apple представили новий алгоритм машинного навчання для прискорення тренування нейронних мереж

У галузі штучного інтелекту та глибокого навчання з’явилося багато інновацій, які дозволяють успішно вирішувати складні завдання, такі як синтез тексту та зображень, сегментація та класифікація за допомогою нейронних мереж. Однак навчання нейронних мереж може вимагати значних обчислювальних затрат, і для досягнення задовільних результатів можуть знадобитися дні або тижні. Висновки в попередньо навчених моделях також можуть страждати від повільності, особливо в складних конструкціях.

Щоб подолати ці проблеми, команда дослідників з Apple представила DeepPCR — новий алгоритм, розроблений для прискорення навчання нейронних мереж та отримання висновків. DeepPCR сприймає серію послідовних кроків як вирішення набору рівнянь і використовує алгоритм паралельної циклічної редукції (PCR) для отримання цього рішення. Основною перевагою DeepPCR є зменшення обчислювальної складності послідовних процесів з O(L) до O(log2 L), що призводить до збільшення швидкості, особливо для великих значень L.

Команда провела експерименти, щоб підтвердити зменшення складності DeepPCR та визначити умови для прискорення. Застосування DeepPCR для паралелізації прямого і зворотного циклу в багатошарових персептронах призвело до прискорення до 30 разів для прямого циклу і до 200 разів для зворотного циклу. Команда також продемонструвала адаптивність DeepPCR, використавши його для навчання ResNets з 1024 шарами, досягнувши швидкості навчання до 7 разів швидше.

Серед ключових досягнень DeepPCR можна виділити наступні:

• Впровадження DeepPCR, нового методу розпаралелювання послідовних процесів у навчанні нейронних мереж, що дозволяє зменшити обчислювальну складність з O(L) до O(log2 L), де L — довжина послідовності.
• Застосування DeepPCR для паралелізації прямих і зворотних циклів у багатошарових персептронах, з поглибленим аналізом його продуктивності при різних параметрах проектування, вивченням компромісів між швидкістю, коректністю рішення і використанням пам’яті.
• Використання DeepPCR для прискорення глибокого навчання та генерації ResNet в дифузійних моделях на різних наборах даних, демонструючи значне прискорення при збереженні результатів, порівнянних з послідовними методами.

Таким чином, впровадження DeepPCR є новаторським рішенням для підвищення ефективності навчання нейронних мереж та висновків. Використовуючи алгоритм паралельної циклічної редукції, DeepPCR значно зменшує обчислювальну складність послідовних процесів, що призводить до значного прискорення, особливо для послідовностей великої довжини. Адаптивність DeepPCR поширюється на навчання глибоких ResNets, що призводить до збільшення швидкості навчання до семи разів. Дослідження підкреслює потенціал DeepPCR в усуненні обчислювальних вузьких місць у процесах нейронних мереж, відкриваючи нову еру прискорених застосувань ШІ.