Досягнення неймовірних результатів за допомогою шумових вбудовувань NEFTune

Точне налаштування інструкцій є важливим процесом у навчанні великих мовних моделей (LLM) на конкретних наборах даних інструкцій, що покращує їхню продуктивність у завданнях на основі інструкцій. Цей метод має багато переваг, зокрема покращує інтерпретацію, зменшує упередженість та підвищує ефективність виконання завдань. Важливість точного налаштування інструкцій для реалізації повного потенціалу LLM неможливо переоцінити, що робить цей процес надзвичайно важливим.

У своєму дослідженні автори представляють нову техніку під назвою NEFTune, спрямовану на підвищення продуктивності моделі в завданнях на основі інструкцій. Їхній підхід передбачає введення випадкового шуму у вектори вбудовування навчальних даних під час прямого проходу точного налаштування. Дивовижно, але таке додавання шуму суттєво підвищує продуктивність моделі без потреби в додаткових обчислювальних ресурсах або додаткових даних. Примітно, що NEFTune значно покращує розмовні здібності LLM, зберігаючи при цьому його фактичну продуктивність у питанні-відповіді.

У дослідженні використовувалися LLM з параметрами 7B, такі як LLaMA-1, LLaMA-2 і OPT-6.7B, а також набори даних для точного налаштування, такі як Alpaca і ShareGPT. Результати були оцінені за допомогою набору даних AlpacaEval, що вимірює коефіцієнт виграшу, який вказує на перевагу LLM над моделлю Text-Davinci-003 від OpenAI, як визначається оцінювачем (GPT-4).

Результати чітко вказують на значне підвищення розмовної здатності та якості відповідей, коли великі мовні моделі навчаються за допомогою NEFTune. Наприклад, LLaMA-2 7B продемонструвала значне підвищення продуктивності, яка зросла з 29,8% до 64,7%. В середньому, всі моделі продемонстрували збільшення продуктивності на 15%. На додаток до оцінки LLM, до оцінки також були залучені люди-анотатори, де NEFT отримала перевагу у 88 випадках, що призвело до значної перемоги NEFT з результатом 74%.

Ілюстративний експеримент включав навчання LLaMA-2 на Alpaca, як з NEFT, так і без нього, і постановку запиту про квантові обчислення. Відповідь із зашумленими вставками на другому етапі була помітно чіткішою і пропонувала більш зрозуміле пояснення складних тем, таких як суперпозиція і квантова заплутаність.

Дослідники стверджують, що введення шуму під час навчання робить модель менш сприйнятливою до перенастроювання. Замість того, щоб фіксуватися на точному розподілі даних, таких як нюанси форматування, довжина тексту і точне формулювання, модель надає відповіді, які інкапсулюють знання і поведінку, притаманні попередньо навченій базовій моделі.

Хоча для точного налаштування інструкцій були розроблені різні моделі та методики, NEFTune виділяється як метод, що дозволяє значно покращити продуктивність великих мовних моделей із зашумленими вставками. Важливо, що він забезпечує ці покращення без необхідності використання додаткових обчислювальних ресурсів, за що його називають “безкоштовним обідом” для точного налаштування LLM. NEFTune має великі перспективи для майбутніх застосувань у розробці LLM, пропонуючи цінний інструмент для покращення можливостей великих мовних моделей у широкому спектрі реальних задач.