Новий підхід до тонкого налаштування мовних моделей

Дослідники з System2 Research, Кембриджського університету, Університету Монаша та Прінстонського університету досягли значних успіхів у точному налаштуванні попередньо навчених мовних моделей для створення більш ефективних мовних агентів, особливо у сфері запитально-відповідних завдань з використанням пошукового API Google. Команда представила FireAct – підхід до точного налаштування, який використовує траєкторії з різних завдань і методів підказок, що свідчить про важливість різноманітних даних для вдосконалення мовних агентів.

Дослідження знаходиться на перетині мовних агентів і точного налаштування попередньо навчених мовних моделей. У той час як попередні дослідження вивчали мовних агентів і точне налаштування окремо, це дослідження поєднує ці сфери. Підхід FireAct систематично вивчає переваги та наслідки точного налаштування мовних моделей для мовних агентів, досліджуючи такі аспекти, як масштабованість, надійність, узагальнення, ефективність та економічність. Їхні висновки вносять цінний внесок у цю нову галузь.

FireAct задовольняє потребу в більш ефективних мовних агентах, впроваджуючи системний підхід до точного налаштування мовних моделей для цих агентів. Сучасні мовні агенти, як правило, покладаються на базові мовні моделі та методи підказок з обмеженою кількістю запитань, що призводить до обмежень продуктивності та надійності. Результати експерименту демонструють, що точне налаштування мовних моделей значно підвищує продуктивність агента, скорочує час виведення та покращує надійність, що є перспективним для реальних застосувань.

Дослідження заглиблюється в тонку настройку мовних моделей для мовних агентів, з особливим акцентом на питаннях-відповідях з використанням пошукового API Google. Експерименти включають різні мовні моделі, розміри даних і методи точного налаштування, а продуктивність оцінюється за допомогою таких метрик, як HotpotQA EM. Результати підкреслюють переваги точного налаштування з точки зору покращення продуктивності, ефективності, надійності та узагальнення порівняно з традиційними методами підказок.

Точне налаштування мовних моделей для мовних агентів дає суттєве покращення продуктивності. Наприклад, точне налаштування Llama2-7B з 500 траєкторіями агента з GPT-4 призвело до значного підвищення продуктивності на 77% у HotpotQA. Метод CoT підвищує якість відповідей, тоді як змішані методи агентів постійно покращують продуктивність. Точне налаштування підвищує точність, що призводить до більш точних відповідей і загальної якості відповідей, що відображається в оцінках EM і F1. Однак показники F1 зрештою виходять на плато і знижуються після чотирьох епох, що свідчить про зменшення віддачі від тривалого точного налаштування.

Інтеграція методу CoT ще більше підвищує якість відповідей. Підхід FireAct, який передбачає точне налаштування за допомогою різноманітних траєкторій виконання завдань і підказок, ще більше підвищує ефективність роботи агента. Мовні агенти, які покладаються виключно на готові мовні моделі, стикаються з обмеженнями, такими як фіксований набір траєкторій вирішення завдань, надмірне використання інструментів і проблеми, пов’язані з відновленням відхилень. Дослідники припускають, що майбутні дослідження можуть бути зосереджені на калібруванні та мета-міркуванні для покращення дизайну агентів, вирішення проблем використання інструментів та рефлексії.

Дослідники пропонують низку дослідницьких питань, натхненних FireAct. Ці питання стосуються розширення можливостей точного налаштування мовних моделей для мовних агентів на різноманітні завдання, базові налаштування та домени. Вони розглядають такі аспекти, як використання інструментів API, веб-дослідження та інтеграція з реальним світом. Вони підкреслюють важливість вивчення різних джерел даних і методів точного налаштування для підвищення продуктивності агентів. Крім того, вони пропонують вивчити вплив калібрування та мета-логіки на дизайн агентів, особливо щодо їхньої здатності керувати використанням інструментів та відхиленнями траєкторії. Необхідні також комплексні дослідження для оцінки масштабованості, надійності, ефективності та фінансових аспектів у контексті тонко налаштованих мовних агентів.