Google DeepMind пропонує фреймворк «самопізнання» для LLM, що поліпшує продуктивність GPT-4

Дослідники з Google DeepMind та Університету Південної Каліфорнії розробили новий підхід для поліпшення міркувань великих мовних моделей (LLM) — фреймворк «самопізнання».

Цей новий підхід, що був опублікований на arXiv та Hugging Face, виходить за рамки чинних методів підказок для LLM і дозволяє покращити продуктивність відомих моделей, таких як GPT-4 від OpenAI та PaLM 2 від Google.

Вчені вказують, що фреймворк «самопізнання» значно підвищує ефективність GPT-4 та PaLM 2 в складних завданнях на міркування, таких як BigBench-Hard, раціональні розсуди та математичне моделювання, на 32% порівняно з ланцюжком думок (CoT).

Суть нового фреймворку полягає в тому, що моделі LLM самостійно виявляють внутрішні структури міркувань для розв’язання проблем. Вони розглядають кілька атомарних модулів міркувань, таких як критичне та покрокове мислення, і складають їх у явну структуру міркувань, яку вони використовують під час розкодування.

Цей підхід також відзначається великою ефективністю — він потребує у 10-40 разів менше обчислень для виведення висновків, що може бути дуже важливим для підприємств.

Самопізнання — це ключ до покращення ефективності LLM. Цей новий підхід не тільки покращує результати відомих моделей, але й має потенціал розширення меж розв’язання проблем, що наближає ШІ до досягнення загального інтелекту.

Нагадаємо, на початку січня Google DeepMind представила Mobile ALOHA, робота-кухаря, який може виконувати складні завдання.