H2O AI представляє Danube, компактну LLM для мобільних додатків

H2O AI, компанія, яка працює над демократизацією штучного інтелекту за допомогою різних відкритих та пропрієтарних інструментів, оголосила про випуск Danube — нової мініатюрної великої мовної моделі (LLM) для мобільних пристроїв.

Ця модель, яка отримала назву на честь другої за величиною річки в Європі, містить 1,8 мільярда параметрів і, як стверджується, перевершує або відповідає моделям подібного розміру в цілому ряді завдань природної мови. Це робить його конкурентоздатним з потужними пропозиціями від Microsoft, Stability AI та Eleuther AI.

Компанії, які розробляють споживчі пристрої, починають досліджувати потенціал автономних генеративних ШІ, коли моделі працюють локально на пристрої, що дозволяє користувачам швидко отримувати допомогу в різних сценаріях без потреби відправляти дані в хмару.

«Ми раді представити H2O-Danube-1.8B як портативну LLM на невеликих пристроях, таких як ваш смартфон. Зростання доступності меншого, більш економічного обладнання та покращення методів навчання дозволяють моделям такого компактного розміру стати доступними для більш широкої аудиторії. Ми віримо, що H2O-Danube-1.8B змінить правила гри для мобільних офлайн-додатків», — заявив Шрі Амбаті, генеральний директор і співзасновник H2O.

Хоча Danube щойно був представлений, H2O стверджує, що він може бути адаптований для різних мобільних додатків, включаючи аналіз розуму, розуміння тексту, узагальнення та переклад.

Для навчання цієї мінімоделі компанія використала трильйони токенів з різних вебджерел та застосувала методи, вдосконалені в моделях Llama 2 і Mistral, щоб покращити її генеративні можливості.

Під час тестування на бенчмарках було виявлено, що модель працює на рівні або навіть краще, ніж більшість моделей з параметрами 1-2B.

H2O випустила Danube-1.8B під ліцензією Apache 2.0 для комерційного використання, щоб будь-яка команда могла налаштувати модель під свій додаток. Крім того, компанія планує випустити додаткові інструменти для спрощення процесу налаштування. Вона також випустила версію моделі H2O-Danube-1.8B-Chat, яку можна використовувати для розмовних додатків.

Очікується, що доступність моделей, подібних до Danube, призведе до зростання мобільних офлайн-додатків зі штучним інтелектом на телефонах і ноутбуках, що допоможе виконувати такі завдання, як редагування тексту та розуміння мови.