Google AI представляє Cappy, невелику модель машинного навчання, що робить LLM доступнішими

Дослідники Google AI представили нову модель машинного навчання Cappy, яка значно покращує та робить доступнішими багатозадачні мовні моделі (LLM).

Cappy розв’язує ключові проблеми LLM, роблячи їх більш практичними для широкого спектра застосувань.

LLM, такі як T0, FLAN і OPT-IML, продемонстрували вражаючі результати в обробці природної мови (NLP).

Однак їх величезний розмір робить їх дорогими та неефективними, що обмежує їх доступність для багатьох користувачів.

Cappy — це легка модель, яка значно підвищує продуктивність LLM без значних обчислювальних ресурсів.

Вона може використовуватися як самостійно для завдань класифікації, так і в тандемі з LLM, щоб покращити їх результати.

Cappy не потребує складного налаштування або доступу до параметрів LLM, роблячи її простою у використанні.

Секрет Cappy — в її архітектурі, заснованій на RoBERTa з лінійним шаром для регресії.

Модель попередньо навчається на величезному наборі даних PromptSource, що охоплює широкий спектр NLP-завдань.

Cappy використовує інноваційний метод побудови даних, який генерує пари базових істин, неправильні відповіді та доповнює дані за допомогою LLM.

Це робить набір даних для попереднього навчання регресії більш ефективним.

Cappy може використовуватися для раннього відсікання неперспективних варіантів, оцінки відповідей кандидатів, декодування LLM та адаптації LLM до нових завдань.

Нагадаємо, дослідники Google представили «VLOGGER», що використовує передові моделі машинного навчання для створення реалістичних відео, де люди розмовляють, жестикулюють і рухаються.