Нова модель DataGemma від Google зменшує галюцинації на статистичних запитах

Компанія Google представила нові моделі штучного інтелекту з відкритим вихідним кодом DataGemma, покликані зменшити кількість галюцинацій у запитах, пов’язаних зі статистичними даними. Ці моделі, випущені на платформі Hugging Face для дослідницьких цілей, базуються на сімействі Gemma і використовують дані з величезної загальнодоступної платформи Google Data Commons, що містить понад 240 мільярдів загальнодоступних точок даних з авторитетних джерел в економічній, науковій та медичній сферах.

Запуск DataGemma розв’язує основну проблему великих мовних моделей: фактичні галюцинації, особливо при відповіді на числові або статистичні запити. Попри свої неабиякі здібності, великі мовні моделі мають труднощі з цими типами запитів через їхню ймовірнісну природу та недостатнє фактичне підґрунтя в навчальних даних.

Google запровадив дві інноваційні методики в DataGemma, щоб підвищити фактичну точність відповідей ШІ. Перший, Retrieval Interleaved Generation (RIG), працює шляхом порівняння початкового результату моделі з реальною статистикою з Data Commons, забезпечуючи, щоб остаточна відповідь відображала фактичні дані. Цей процес ефективно узгоджує відповіді моделі з перевіреною інформацією. Тим часом другий метод, Retrieval Augmented Generation (RAG), витягує відповідні деталі із запитів користувачів і використовує їх для отримання статистичних даних з того ж джерела, які потім обробляються Gemini 1.5 Pro для надання точної, контекстно збагаченої відповіді.

Під час тестування DataGemma продемонструвала помітні покращення у зменшенні галюцинацій. Під час застосування до набору статистичних запитів моделі, посилені методом RIG, значно перевершили базові моделі, а підхід RAG також забезпечив точність результатів, хоча і з деякими обмеженнями у формулюванні висновків на основі даних.

Випуск цих моделей відображає зусилля Google щодо підвищення надійності штучного інтелекту, особливо в дослідженнях і процесах прийняття рішень, які вимагають точної інтерпретації даних. Обидва методи – RIG і RAG – мають явні переваги: один дає швидші, більш спрощені відповіді, а інший забезпечує глибші, контекстуально обґрунтовані результати. Надаючи доступ до DataGemma, Google сподівається сприяти подальшому дослідженню цих методів і, зрештою, включити ці вдосконалені функції в майбутні ітерації моделей Gemma і Gemini.