Databricks відкриває доступ до DBRX, потужної мовної моделі для підприємств

Databricks оголосила про випуск DBRX, сучасної великої мовної моделі, що перевершує відомі аналоги з відкритим кодом у багатьох тестах.

Мета компанії — зробити високоякісний ШІ, що налаштовується, доступним для підприємств, які прагнуть використовувати можливості генеративного ШІ.

DBRX демонструє вражаючу продуктивність, обходячи такі моделі, як LLaMA2-70B, Mixtral і Grok-1, у розумінні мови, програмуванні, математичних і логічних завданнях.

Згідно з бенчмарком Gauntlet від Databricks, DBRX лідирує в більш ніж 30 різних сучасних тестах, що свідчить про постійне поліпшення якості моделей з відкритим вихідним кодом.

Важливо зазначити, що DBRX також перевершує GPT-3.5 у більшості тестів.

Це особливо важливо, адже все більше підприємств переходять на альтернативи з відкритим вихідним кодом замість пропрієтарних моделей.

Databricks спостерігає цю тенденцію серед своїх 12 000+ клієнтів, багато з яких досягли кращої якості та швидкості, налаштувавши моделі з відкритим вихідним кодом під свої конкретні завдання.

DBRX має архітектуру Mixture-of-Experts (MoE), побудовану на основі дослідницького проєкту з відкритим вихідним кодом MegaBlocks.

Цей дизайн дозволяє швидше генерувати токени, зберігаючи при цьому відносно невелику кількість активних параметрів — 36 мільярдів, в порівнянні з загальною кількістю параметрів моделі в 132 мільярди.

Databricks навчила DBRX з контекстним вікном до 32 тис. токенів і побудувала її повністю на своїй платформі, використовуючи такі інструменти, як Unity Catalog для управління даними, Apache Spark і Lilac AI для обробки та очищення даних, а також сервіс Mosaic AI Training для великомасштабного навчання та тонкого налаштування моделі.

Ваги базової моделі (DBRX Base) та доопрацьованої моделі (DBRX Instruct) доступні на Hugging Face під відкритою ліцензією. Відсьогодні, DBRX доступний для клієнтів Databricks через API. Клієнти Databricks можуть попередньо тренувати свої власні моделі класу DBRX з нуля або продовжувати тренування на одній з контрольних точок, використовуючи ті ж інструменти та науку, які використовувалися для його створення.

Нагадаємо, Databricks інвестує в Mistral та впроваджує свої моделі ШІ в платформу для аналізу даних.