Що таке суміш експертів (Mixture of experts, MoE)?

Що таке MoE?

Архітектури суміші експертів (MoE) забезпечують ефективне рішення для масштабування великих моделей коштом зменшення обчислювальних витрат під час попереднього навчання та покращення якості висновків. Замість того, щоб активувати всю нейронну мережу для кожної задачі, моделі MoE вибірково активують лише ті її елементи, які мають відношення до конкретної задачі, що забезпечує швидшу та більш цілеспрямовану обробку даних. Така вибіркова активація є базовою характеристикою їхньої ефективності, особливо при роботі з великими моделями що налічують мільярди параметрів.

Основи методології архітектури MoE беруть свій початок у статті 1991 року «Адаптивна суміш локальних експертів», в якій пропонувалося використовувати кілька спеціалізованих (експертних) мереж разом зі з’єднувальною мережею, яка визначає який саме «експерт» повинен вирішувати кожну підзадачу. У статті було продемонстровано, що такий підхід призводить до скорочення часу навчання порівняно зі звичайними моделями, досягаючи критеріїв точності за вдвічі меншу кількість періодів навчання.

Оскільки моделі глибокого навчання, особливо ті, що використовуються в генеративному ШІ, зростали в розмірах і складності, MoE став способом керування балансом між потужністю моделі та обчислювальною ефективністю. Це було особливо важливо в обробці природної мови (NLP), де такі моделі, як Mixtral 8×7B від Mistral та OpenAI GPT-4, використовували архітектуру MoE для оптимізації своєї продуктивності без надмірних обчислювальних витрат.

Завдяки використанню спеціалізованих експертних мереж, MoE дозволяє моделям підтримувати високу продуктивність, досягаючи при цьому швидшого навчання та висновків, що робить його цінним інструментом у розробці сучасних систем ШІ.

Ключові компоненти суміші експертів

В архітектурі MoE експертами є окремі моделі, зазвичай нейронні мережі, кожна з яких навчена на різних підмножинах даних або спеціалізується на певних аспектах задачі. Така спеціалізація дозволяє їм обробляти специфічні особливості вхідних даних, підвищуючи точність аналізу та адаптивність. Наприклад, один експерт може зосередитися на синтаксисі, а інший працюватиме з семантичним значенням, що призводить до більш ефективного навчання та прийняття рішень.

Шлюзова мережа — це компонент прийняття рішень, який визначає, яких експертів слід активувати для певних вхідних даних. Вона оцінює вхідні дані, призначає ймовірності придатності кожного експерта і направляє вхідні дані до найбільш релевантних експертів. Така вибіркова активація є ключем до зменшення обчислювальних витрат, оскільки для кожного завдання використовується лише окрема модель, а не вся мережа.

Після того, як шлюзова мережа обрала експертів, їхні висновки об’єднуються за допомогою функції комбінування, часто з використанням методів усереднення або зваженого усереднення. Ця функція об’єднує ідеї обраних експертів, щоб сформувати кінцевий результат, який відображає колективні знання цих експертів. Результатом є більш ефективна модель, яка використовує сильні сторони кожного експерта, зберігаючи при цьому загальну точність і продуктивність.

Порівняння традиційної архітектури з MoE

Уявіть собі традиційну модель глибокого навчання як єдину, монолітну систему, яка обробляє всі точки даних однаково, незалежно від особливостей або характеристик вхідних даних. Така структура призводить до того, що кожен шар активується для кожного завдання, що робить її ресурсомісткою. На противагу цьому, суміш експертів (MoE) використовує модульну структуру, яка більше нагадує спільну роботу команди спеціалістів.

Архітектура суміші експертів (MoE) пропонує особливий підхід у порівнянні з традиційними моделями глибокого навчання, з ключовими відмінностями у структурі, ефективності, спеціалізації та пов’язаних з ними викликах.

Основна структура

У традиційних моделях глибокого навчання кожен нейрон і шар активується для всіх вхідних даних, що призводить до однорідної обробки даних незалежно від їхньої природи. Ці моделі працюють як єдина, всеосяжна система, яка застосовує однакові правила до кожної задачі.

На відміну від них, архітектури MoE складаються з декількох спеціалізованих підмереж або експертів, які фокусуються на різних аспектах вхідних даних. Потім шлюзова мережа визначає, яких експертів активувати на основі вхідних даних, створюючи розріджену схему активації, що призводить до більш ефективної обробки.

Ефективність і масштабованість

Традиційні архітектури вимагають великих обчислювальних ресурсів, оскільки всі параметри активуються під час кожного висновку. Зі збільшенням розміру моделі, обчислювальні вимоги, такі як пам’ять та затримка, зростають експоненціально. Масштабування зазвичай передбачає збільшення розміру всієї моделі, що призводить до значних обчислювальних витрат.

Моделі MoE підвищують ефективність, активуючи лише підмножину експертів, що відповідають вимогам конкретного завдання, зменшуючи таким чином обчислювальне навантаження. Моделі MoE також легше масштабувати, оскільки нових експертів можна додавати без перенавчання всієї моделі, пропонуючи гнучкість для обробки складних або різноманітних завдань і наборів даних.

Спеціалізація та ефективність

Традиційним моделям бракує спеціалізації, оскільки вони навчаються на одному наборі даних без розрізнення нюансів між різними завданнями. Це може призвести до низьких результатів у випадках, що вимагають більш сфокусованих знань.

Моделі MoE демонструють високий рівень спеціалізації, коли кожен експерт точно налаштований на конкретні завдання або типи даних. Такий дизайн дає змогу MoE підвищити продуктивність у спеціалізованих галузях, таких як медична діагностика або фінансове прогнозування, де цілеспрямовані знання і точність мають вирішальне значення.

Виклики

Традиційні архітектури простіші, що може бути перевагою в деяких сценаріях. Однак саме ця простота обмежує їхню адаптивність та ефективність при роботі з різноплановими або складними вхідними даними.

Попри свою потужність, архітектури MoE ускладнюють процес навчання. Механізм шлюзової мережі повинен ефективно спрямовувати вхідні дані до потрібних експертів, а неефективна маршрутизація може призвести або до недостатнього використання, або до надмірної спеціалізації. Крім того, хоча моделі MoE активують лише частину параметрів для кожного завдання, всі параметри все одно повинні бути завантажені в пам’ять, що вимагає ретельного управління ресурсами.

Підсумок переваг

Математична концепція розрідженості в MoE

Концепція розрідженості в архітектурі суміші експертів (Mixture of Experts, MoE) вводить ідею умовних обчислень, що полягає в активації лише підмножини параметрів моделі (експертів) для певних вхідних даних, а не всієї мережі в цілому. Такий підхід дає змогу масштабувати моделі без пропорційного збільшення обчислювальних витрат, що дуже важливо для вирішення таких масштабних завдань, як машинний переклад.

У дослідженні, присвяченому використанню MoE для завдань перекладу, архітектура використовує умовні обчислення для масштабування розміру моделі, контролюючи обчислювальне навантаження. У цій архітектурі кожен шар MoE містить тисячі експертів, але лише деякі з них активовані в певний проміжок часу для кожного вхідного прикладу. Це дозволяє значно підвищити ефективність, але створює проблеми, такі як нерівномірний розмір вибірки, що може вплинути на продуктивність.

Механізми шлюзування в MoE

Мережа шлюзів (G) відіграє вирішальну роль у визначенні того, яких експертів (E) слід активувати для кожного входу. З математичної точки зору, вихід 𝑦 обчислюється як:

У цьому рівнянні G(x)_i представляє вагу шлюзу для i-го експерта, а E_i(x) є вихідним результатом цього експерта. Якщо G(x)_i=0 для експерта, його обчислення можуть бути пропущені, що призводить до значної економії обчислень.

Типова функція шлюзування використовує просту нейронну мережу, за якою слідує функція softmax, що дозволяє моделі дізнатися, якому експерту (експертам) надсилати вхідні дані:

Де 𝑊𝑔 — навчальна вагова матриця.

Шумове шлюзування верхнього рівня 𝑘 (Noisy Top-k Gating)

Також досліджено альтернативні механізми роботи шлюзів, такі як шумове шлюзування верхнього рівня 𝑘. Цей метод вносить шум у процес прийняття рішень шлюзу, підвищуючи його здатність більш ефективно спрямовувати вхідні дані, враховуючи невизначеність активації. Він включає в себе наступні кроки:

1. Додавання шуму до показників шлюзу:

2. Вибір найкращих 𝑘 експертів:

Ця функція зберігає найкращих 𝑘 експертів з найвищими оцінками та відкидає решту.

3. Застосування нормованої експоненційної функції (softmax) до верхніх значень 𝑘 для розподілу ймовірностей:

Обмежуючи кількість активних експертів (наприклад, 𝑘=1 або 2), модель зменшує обчислювальні витрати при збереженні продуктивності. Маршрутизація до більш ніж одного експерта допомагає гарантувати, що шлюз навчається ефективно розподіляти робоче навантаження між різними експертами, що має принципове значення для навчання різноманітних експертів для вирішення завдань різного рівня складності.

Переваги та особливості розрідженості

Використання розрідженості та механізму шумового шлюзування верхнього рівня 𝑘 (Noisy Top-k Gating) надає деякі потужні властивості:

• Швидше навчання та формування висновків: Вибираючи менше експертів на вхід, система зменшує обчислювальне навантаження.
• Ефективність маршрутизації: Шум у механізмі шлюзів допомагає досліджувати різних експертів і вивчати більш ефективні стратегії маршрутизації, що призводить до кращого узагальнення.
• Збалансоване робоче навантаження: Спрямування даних до кількох експертів гарантує, що жоден з них не буде надмірно або недостатньо використаний, що може запобігти перенавантаженню і підтримати більш надійні результати навчання.

Отже, архітектури MoE забезпечують масштабовану, ефективну альтернативу традиційним моделям глибокого навчання, використовуючи умовні обчислення і розріджену активацію.

Токени балансування навантаження MoE

В архітектурах з використанням суміші експертів (MoE) виникає поширена проблема, коли мережа шлюзів надає перевагу невеликій підмножині експертів, що призводить до нерівномірного навчання. Це відбувається внаслідок того, що коли певні експерти активуються частіше, вони стають кращими в обробці вхідних даних, що призводить до надання переваг цим експертам і тим самим посилює циклічність. Як наслідок, деякі експерти можуть бути надмірно використані, тоді як інші залишаються недостатньо навченими, що знижує загальну ефективність та результативність моделі.

Допоміжні втрати для збалансування активації експертів

Щоб розв’язати цю проблему, під час навчання вводяться допоміжні втрати, які спонукають нейронну мережу більш рівномірно розподіляти активації між усіма експертами. Ці втрати діють як регулятор, забезпечуючи кожному експерту приблизно однакову кількість навчальних прикладів. Допоміжні втрати допомагають збалансувати навантаження:

• Запобігти монополізації навчальних даних окремими експертами.
• Переконатися, що недостатньо залучені експерти все ще отримують достатньо навчання для розвитку своїх можливостей.
• Підвищити здатність моделі MoE узагальнення шляхом забезпечення різноманітного досвіду серед експертів.

На практиці допоміжні втрати штрафують мережу за нерівномірний розподіл активацій, підштовхуючи її до більш збалансованого відбору. Це допомагає уникнути пастки, коли лише кілька експертів стають вузькоспеціалізованими, тоді як інші відстають у навчанні.

Експертний потенціал

Ще одним важливим механізмом для усунення дисбалансу є концепція експертного потенціалу. Кожен експерт має граничну кількість токенів, яку він може обробити за один раз, що обмежує максимальну кількість токенів, призначених для одного експерта. Коли цей поріг перевищується, надлишкові токени перенаправляються іншим експертам, що дозволяє уникнути перевантаження жодного експерта. Це запобігає виникненню слабких місць у навчальному процесі, особливо у випадках, коли певним експертам надається надмірна перевага.

Визначаючи ліміт потужності для кожного експерта, архітектура MoE може більш ефективно розподіляти обчислювальне навантаження між усіма доступними експертами, підвищуючи таким чином ефективність навчання. Система не дозволяє найбільш активним експертам обробляти надмірну кількість токенів та зменшувати загальну продуктивність моделі та її здатність до узагальнення.

Реалізація в архітектурі на основі трансформерів

В архітектурах MoE на основі трансформерів, які використовуються в обробці природної мови (NLP), допоміжні втрати зазвичай задаються за допомогою параметра aux_loss. Цей параметр контролює величину допоміжних втрат, що застосовуються під час навчання, надаючи можливість розробникам моделі точно налаштувати, наскільки агресивно слід штрафувати нейронну мережу за нерівномірний вибір експертів.

Регулюючи цей параметр, фахівці можуть забезпечити належний баланс між спеціалізацією (експерти стають висококваліфікованими у виконанні конкретних завдань) та узагальненням (всі експерти отримують адекватну підготовку на різноманітних прикладах).

MoE з відкритим вихідним кодом

Існує кілька цікавих проєктів з відкритим вихідним кодом і випущених у відкритому доступі моделей суміші експертів (MoE), що демонструють попит та практичність MoE-архітектур у спільноті розробників штучного інтелекту. Ось короткий огляд деяких відомих проєктів і моделей:

Навчальні проєкти з відкритим вихідним кодом MoE:

• Megablocks (Стенфорд): Цей проєкт зосереджений на оптимізації навчання MoE у великому масштабі. Він представляє систему розріджених обчислень, яка мінімізує накладні витрати на зв’язок і підвищує ефективність при навчанні великих моделей з декількома експертами.
• Fairseq MoE (Meta/Facebook Research): Популярна бібліотека для моделювання послідовностей, а її приклади демонструють, як навчати мовні моделі за допомогою архітектур MoE. Вона підтримує різні завдання, такі як переклад і розуміння природної мови, з детальними прикладами для великих MoE.
• OpenMoE: Цей проєкт, керований спільнотою, зосереджений на наданні гнучких структур MoE, насамперед для тих, хто хоче поекспериментувати з різними мережами експертів і механізмами роботи зі шлюзами. Він розроблений так, щоб його можна було адаптувати для різних дослідницьких цілей ШІ.

Випущені моделі MoE з відкритим доступом:

• Switch Transformers (Google): Засновані на моделі T5, Switch Transformers використовують шари MoE з 2048 експертами, причому найбільша модель досягає безпрецедентних 1,6 трильйона параметрів. Такий масштаб дозволяє проводити дуже ефективні розріджені обчислення, що робить їх провідним прикладом успіху MoE. Менші моделі перемикачів також можна використовувати для задач, які не потребують таких великих потужностей.
• NLLB MoE (Meta/Facebook Research): Цей варіант моделі No Language Left Behind (NLLB) використовує шари MoE для роботи з високоресурсними та низькоресурсними мовами в перекладацьких завданнях. Залучаючи спеціалізованих експертів, NLLB MoE досягає підвищеної точності та масштабованості для різних мов.
• Mixtral 8×7B (Mistral): Модель Mixtral 8×7B від Mistral стала потужною опцією, яка перевершує Llama 2 70B як за точністю, так і за швидкістю висновків. Mixtral особливо відзначається своєю ефективною архітектурою, завдяки якій досягається разючий прибуток в продуктивності, вимагаючи при цьому менше обчислювальних ресурсів. Mistral також випустив версію з інструкціями для більш досконалих завдань взаємодії.

Ці проєкти та моделі демонструють практичні переваги та масштабованість архітектури MoE для реальних застосувань у галузі штучного інтелекту. Незалежно від того, чи йдеться про дослідження, переклад або масштабне мовне моделювання, архітектури MoE пропонують значну перевагу з погляду ефективності та спеціалізації.

Висновок

В майбутньому дослідження з використанням методу суміші експертів (MoE) будуть зосереджені на підвищенні ефективності цих моделей, їх інтерпретації та спільній роботі. Одним з ключових напрямків розвитку є покращення управління ресурсами. Моделі MoE. Через свою складну структуру вони вимагають значних обчислювальних потужностей, але розробники знаходять способи оптимізації як апаратного забезпечення, так і алгоритмів. Наприклад, розподіляючи робоче навантаження між кількома обчислювальними системами, можна розподілити обчислювальні вимоги до навчання і висновків, забезпечуючи більш плавну і швидку обробку даних. Крім того, досліджуються такі методи, як стиснення моделей, щоб досягти зменшення розміру експертних мереж, зберігаючи при цьому їхню продуктивність. Це передбачає, що експерти можуть ефективно функціонувати без надмірного споживання пам’яті або енергії. Водночас вдосконалюється технологія розрідженості — коли для кожного входу активується лише кілька експертів — для подальшого скорочення використання ресурсів під час виведення висновків.

Співпраця між експертами в моделі MoE також потребує вдосконалення. Механізм шлюзу, який відповідає за вибір експертів, залучених до обробки конкретних вхідних даних, відіграє критично важливу роль в ефективності моделі. Поточні дослідження спрямовані на вдосконалення роботи цих шлюзів, щоб забезпечити вибір оптимальних експертів для кожного завдання. У деяких випадках експертам доведеться взаємодіяти, і покращення їхньої співпраці може призвести до покращення загальної ефективності моделі, особливо при розв’язанні складних завдань.

Інтерпретованість, або здатність розуміти, як моделі MoE приймають рішення, набуває все більшого значення. Зрозумілі методи функціонування штучного інтелекту можуть допомогти з’ясувати, як мережа шлюзів обирає експертів для виконання певних завдань. Це забезпечить більшу прозорість процесу прийняття рішень моделлю. Крім того, докладаються зусилля для того, щоб самі експерти могли пояснювати свої висновки, що сприятиме подальшому підвищенню довіри до моделі та полегшить усунення помилок або її вдосконалення в разі потреби.

Оскільки моделі MoE продовжують розвиватися, ці покращення ефективності, співпраці та інтерпретованості допоможуть зробити їх більш потужними та доступними, розширюючи межі можливостей цих систем.