Знайомтеся з моделлю спільноти GOAT-7B

Нещодавно вчені з AI Research Lab представили модель GOAT-7B-Community, яка вдосконалює модель LLaMA-2 7B, використовуючи дані з додатку GoatChat. Модель LLaMA v2 7B від Meta була доопрацьована, щоб стати найсучаснішою моделлю GOAT-7B-Community завдяки використанню нового дрібнозернистого набору даних, отриманого з додатку GoatChat.

“Вирівнювання” має вирішальне значення при створенні великих мовних моделей ( LLM). Це ідея про те, що модель може відмовитися відповідати на запитання, які вона вважає неетичними або незаконними, спираючись на свою освіту та досвід. Вирівнювання має важливе значення для етичного впровадження штучного інтелекту, але створює нові перешкоди для оптимізації моделі.

Дослідники помітили, що відповіді, згенеровані в результаті вирівнювання, рідко містять точні деталі, яких вимагають клієнти. Ці реакції, як правило, більш приглушені і свідчать про небажання деталізувати. Враховувати це дуже важливо, якщо ми хочемо побудувати надійну модель, яка надаватиме глибокі та повні відповіді на запитання. Дослідники виявили, що фільтр вирівнювання усуває не всі неналежні пропозиції. Через це вирівнювання часто призводить до відкидання великого набору даних. Це становить близько третини всієї інформації у справі.

У світлі цієї проблеми дослідники розробили нову методику очищення наборів даних. Крім того, вони провели регульований експеримент, щоб ретельно вивчити вплив вирівняних відповідей на роботу моделі.

Як навчають науковців

Високопродуктивний вузол з вісьмома графічними процесорами NVIDIA A100 став основою обчислень глибокого навчання. Дослідники обрали формат з плаваючою комою bfloat16 та оптимізацію DeepSpeed ZeRO-3 в якості основи для процедури навчання. Вони провели моделі через три ітерації, зберігаючи їхній прогрес кожну наступну епоху. Однак емпіричні дані показали, що після однієї епохи виконання якість починає погіршуватися. Це змусило їх переосмислити свою стратегію і зупинитися на одній епосі навчання з перевіркою на півдорозі. Для оцінки моделі GOAT-7B-Community використовуються загальні критерії оцінки мовних моделей, такі як MMLU та BigBench Hard. Команда все ще аналізує всі моделі і незабаром оприлюднить свої висновки.

Використання

Дослідження моделей великих мов і чат-ботів є основним напрямком діяльності GOAT-7B-Community. Науковці та ентузіасти, які займаються обробкою природної мови, машинним навчанням та штучним інтелектом, знайдуть її особливо корисною.

Обмеження

Незважаючи на вражаючі здібності до мислення, модель страждає від проблем, пов’язаних з її відносно крихітним розміром (моделі 7B вважаються “малими” LLM). Галюцинації – найпомітніша з них. Ці “галюцинації” є постійною перешкодою для вирішення в міру того, як LLM вдосконалюються і розширюються.

Галюцинації є постійною проблемою, якій приділяється велика увага в дослідженнях штучного інтелекту. Кінцевою метою є розробка моделей, здатних давати логічні, граматично правильні відповіді, що відповідають представленим фактам.

Ризики та упередження

Модель GOAT-7B-Community є ненадійною, оскільки вона може давати результати, які не відповідають дійсності. Модель була побудована з використанням як публічних, так і приватних даних. Отже, модель GOAT-7B-Community може давати неточні, упереджені або навіть неприйнятні результати.

Основні висновки

• Існує небагато кращих безкоштовних моделей 7B, ніж ця.
• Ключем до хороших результатів MMLU є різноманітний та якісний набір даних.
• Якщо порівнювати з сучасними моделями 13B, то 7B демонструє чудові результати.
• Обмеження на розмір все ще діють.

Шлях уперед

У дослідників є кілька цікавих проектів, які виведуть дослідження в галузі штучного інтелекту на новий рівень. Вони працюють над науковою статтею, яка заглиблюється у свіжі висновки про те, як різні методи обробки та збору даних можуть суттєво покращити здатність моделі до міркувань. Вони виявили, що те, як курувати і обробляти дані, суттєво впливає на успіх керованого налаштування інструкцій. Отримані знання можуть мати вирішальне значення для розвитку галузі ШІ, і дослідники прагнуть поділитися ними з широкою спільнотою. Вони також ставлять перед собою ще більш амбітні цілі в галузі глибокого навчання. Дослідники вже розробляють більші моделі LLaMA v2, зокрема варіанти 13B і 70B. Ці великомасштабні моделі дозволять нам експериментувати далі і розширити межі того, що зараз можливо в моделюванні ШІ.

Подорож у дослідження глибокого навчання та навчання моделей тільки починається. Дослідники повністю віддані вивченню всіх критичних проблем, пов’язаних з LLM і технологіями AI Twin, з метою розкриття надзвичайного потенціалу навчання з підкріпленням за допомогою зворотного зв’язку з людиною (RLHF).