BTC$29880

ETH$3666

Шукати

Нова безтренувальна та теоретико-ігрова процедура ШІ для декодування мовних моделей

Деякі завдання, пов’язані зі створенням або перевіркою фактичних тверджень, такі як відповіді на запитання, перевірка фактів і генерація безумовного тексту, досить добре виконуються сучасними мовними моделями. Тим не менш, все більше фактів свідчить про те, що зі збільшенням розміру мовних моделей вони стають більш схильними до генерації помилкових, але часто повторюваних тверджень. Вони далекі від того, щоб бути повністю надійними. Складність полягає в тому, що лінгвістичні моделі мають багато можливостей для вирішення завдань генерації фактів.

Мовні моделі можуть слугувати як генеративно (надаючи найбільш вірогідну відповідь на питання), так і дискримінативно (представляючи пару “питання-відповідь” та оцінюючи прийнятність відповіді). Однак ці два підходи іноді дають суперечливі результати. Генеративні методи можуть помилятися, коли ймовірність розподілена між кількома суперечливими відповідями, тоді як дискримінантні методи можуть зазнати невдачі через неправильне калібрування або тонкі залежності між питаннями. Як ми можемо отримати найточнішу оцінку істинності мовної моделі з цих хаотичних і часто суперечливих вхідних даних?

У цьому дослідженні, проведеному вченими з Массачусетського технологічного інституту (MIT), гра консенсусу, сигнальна гра, використовується як метод для поєднання генеративного та дискримінативного процесів декодування мовних моделей. Агент-дискримінатор повинен передати високорівневе абстрактне значення правильності агенту-генератору, але він обмежений обмеженою кількістю можливих виразів природної мови. Цілком логічно, що спільна політика, в якій генератор і дискримінатор досягають консенсусу щодо присвоєння значень правильності виразам, була б успішною стратегією для цієї гри. Вони досліджують такий підхід для визначення кандидатів, які, на думку всіх, є правильними. Розв’язання цієї багатокрокової гри зі складним простором дій, що включає вирази природної мови, вимагає використання алгоритмів навчання без жалю. Ці алгоритми набули популярності для визначення оптимальних стратегій у різних іграх, включаючи покер, стратегію та дипломатію.

(Зліва) Запити з різними мовними моделями не можуть досягти консенсусу щодо відповіді на фактичне запитання. Узгоджуючи прогнози між генеративною та дискримінативною мовними моделями за допомогою гри консенсусу, ми отримуємо точний прогноз. (Праворуч) Структура гри консенсусу, двосторонньої послідовної сигнальної гри з недосконалою інформацією, що складається з двох гравців. Спочатку середовище (N) рівномірно випробовує параметр правильності. Генератор (G), залежний від цього параметра, виробляє рядок природної мови з набору кандидатів. Дискримінатор (D) лише спостерігає за цим рядком і повинен передбачити параметр правильності, вибраний середовищем. Якщо дискримінатор правильно визначає цей параметр, то обидва гравці отримують винагороду 1. Пунктирна лінія з’єднує вузли, які не розрізняються дискримінатором, оскільки дискримінатор не спостерігає за параметром правильності. Обчислюючи регуляризовані стратегії рівноваги для цієї гри, ми отримуємо прогнози, які відображають консенсус між генератором та дискримінатором. Джерело

Метод декодування мовних моделей, заснований на теорії ігор, називається рівноважним ранжуванням (Equilibrium Ranking). Будучи застосованим до шести бенчмарків (MMLU, ARC, RACE, HHH, TruthfulQA та GSM8K), рівноважне ранжування перевершує сучасні генеративні, дискримінантні та змішані методи декодування. У ширшому контексті, це дослідження показує, як інструменти теорії ігор можуть бути використані для формалізації та покращення зв’язності мовних моделей, що призводить до підвищення точності у фактичних задачах.