Qualcomm AI запропонувало метод швидкого машинного навчання для великих мереж

Дослідження Qualcomm AI Research запропонувало GPTVQ, новий метод, що використовує векторне квантування (VQ) для підвищення ефективності великих мовних моделей (LLM). Цей підхід вирішує проблеми, пов’язані з великою кількістю параметрів у LLM, які збільшують обчислювальні витрати та передачу даних.

GPTVQ вирізняється тим, що використовує нерівномірну та векторну стратегію квантування, що дозволяє гнучкіше представляти ваги моделі. Метод оновлює неквантовані ваги, чергуючи квантування стовпців, використовуючи інформацію з середньоквадратичної похибки реконструкції вихідних даних для кожного шару (MSE). MSE є загальною метрикою, що використовується в регресійному аналізі та машинному навчанні для оцінки ефективності моделі в прогнозуванні неперервних значень. Завдяки ініціалізації блоків квантування та використанню ефективної версії алгоритму очікування-максимізації (EM), що враховує дані, з подальшим оновленням блоків квантування та подальшим стисненням за допомогою цілочисельного квантування та розкладання за окремими значеннями (SVD), GPTVQ досягає вражаючих результатів.

Експерименти підтверджують ефективність GPTVQ, демонструючи його здатність встановлювати нові еталони для співвідношення розміру і точності в різних LLM. Зокрема, метод може обробляти моделі в практичні терміни, що робить його придатним для застосування в реальних умовах.

Оцінки продуктивності показують, що GPTVQ демонструє кращі результати порівняно з існуючими методами з точки зору компромісів між розміром моделі та точністю. Він підтримує високий рівень точності навіть при значному зменшенні розміру моделі, демонструючи свою ефективність. Крім того, GPTVQ покращує затримку на мобільних процесорах порівняно з традиційними форматами, що вказує на його потенціал для додатків у реальному часі.

Загалом, GPTVQ є значним кроком вперед в оптимізації LLM, вирішуючи проблеми ефективності при збереженні точності. Ця технологія відкриває нові можливості для розгортання передових моделей ШІ на різних платформах та додатках, прокладаючи шлях до ширшої доступності та застосування LLM в різних галузях. Оскільки ШІ продовжує інтегруватися в повсякденне життя, такі інновації, як GPTVQ, мають вирішальне значення для забезпечення ефективності та доступності цих потужних інструментів.