20.02.2024 18:43
LPU від Groq встановив рекорди продуктивності для штучного інтелекту
LPU Inference Engine від Groq, спеціалізований мовний процесор, встановив нові рекордні показники ефективності обробки великих мовних моделей. В нещодавньому бенчмарку, проведеному ArtificialAnalysis.ai, Groq випередив вісім інших учасників за декількома ключовими показниками ефективності.
За даними ArtificialAnalysis.ai, пропускна здатність Groq LPU досягла 241 токенів в секунду, що значно перевищує можливості інших хостинг-провайдерів і відкриває нові можливості для великих мовних моделей у різних сферах. Зазначено, що внутрішні бенчмарки Groq ще більше підкреслили це досягнення, заявивши, що вони досягають 300 токенів на секунду.
Цей успіх базується на прискорювачі GroqCard™ Accelerator, який коштує 19 948 доларів і може похвалитися продуктивністю до 750 Терафлопс (INT8) і 188 Терафлопс (FP16 при 900 МГц), а також 230 МБ SRAM на чіп і пропускною здатністю до 80 ТБ/с. Саме завдяки цим технічним характеристикам він випереджає традиційні установки CPU і GPU, забезпечуючи значні переваги в обробці мовних моделей.
Нагадаємо, Nvidia представила графічний процесор RTX 2000 Ada Generation GPU, розроблений для прискорення проектування та візуалізації з використанням штучного інтелекту.
)
)
)
)
)
)
)
)
