Groq демонструє надзвичайно швидкий двигун LLM

Groq представляє нові можливості, які дозволяють користувачам робити швидкі запити та виконувати інші завдання з провідними великими мовними моделями (LLM) безпосередньо на своєму вебсайті. Ця нова функція, яка була непомітно запущена минулого тижня, може похвалитися дивовижною швидкістю, реагуючи на рівні 1256,54 токена в секунду, що значно швидше, ніж попередні досягнення компанії, і помітно швидше, ніж показники графічних процесорів від конкурентів, таких як Nvidia.

За замовчуванням движок сайту Groq використовує Llama3-8b-8192 LLM з відкритим вихідним кодом від Meta, з можливістю вибору з інших моделей, таких як Llama3-70b, а також з моделей Gemma і Mistral. Платформа планує незабаром підтримувати й інші моделі. Така швидкість і гнучкість забезпечують значний користувацький досвід, демонструючи, наскільки швидко та ефективно можуть працювати чат-боти з великими мовними моделями.

У тестах система Groq продемонструвала різні можливості, такі як створення вакансій, статей та надання критичних зауважень майже миттєво. Наприклад, на прохання прокоментувати програму заходу, присвяченого генеративному ШІ, система Groq миттєво надала зворотний зв’язок з чіткими пропозиціями щодо вдосконалення та різноманітними рекомендаціями для спікерів.

Платформа також підтримує голосові команди, використовуючи модель Whisper Large V3 від OpenAI з автоматичним розпізнаванням і перекладом мови, що дозволяє легко вводити запити, просто говорячи в мікрофон. Цей текст потім обробляється як підказка для LLM.

Генеральний директор Groq Джонатан Росс підкреслив вплив такої швидкості та ефективності на майбутнє використання LLM, прогнозуючи зростання популярності, оскільки користувачі усвідомлюють простоту використання. Він підкреслив значний потенціал у різних сферах застосування, таких як організація сесій і створення таблиць, які можна легко модифікувати та перекладати.

Технологія Groq вирізняється своєю ефективністю, використовуючи близько третини потужності графічного процесора в найгіршому випадку, а в багатьох випадках — лише десяту частину. Така ефективність кидає серйозний виклик нинішньому ландшафту, в якому домінують GPU, особливо з огляду на те, що попит на робочі навантаження зі штучним інтелектом продовжує зростати. Росс стверджує, що до наступного року більша частина обчислень виводу у світі буде виконуватися на чіпах Groq.

Компанія отримала величезний попит з боку розробників: понад 282 000 розробників користуються її сервісом, який був запущений лише 16 тижнів тому. Groq пропонує розробникам зручну платформу для створення своїх додатків, а також можливість безперешкодного переходу з додатків, створених на OpenAI, на Groq.