28.03.2024 09:58
Claude від Anthropic випередив ChatGPT у рейтингу лідерів Chatbot Arena
Claude 3 Opus, чат-бот від Anthropic, випередив ChatGPT від OpenAI в популярному краудсорсинговому рейтингу Chatbot Arena.
Це перший випадок з моменту появи GPT-4 в лідерборді в травні 2023 року, коли модель Open AI втрачає лідерство.
Chatbot Arena використовує суб’єктивний підхід, заснований на думках користувачів, для оцінки чат-ботів.
Платформа показує користувачам дві немарковані мовні моделі та просить їх оцінити, яка з них працює краще.
Цей метод відрізняється від інших ШІ-бенчмарків, які можуть бути «обдурені» тренерами моделей.
Підйом Claude 3 Opus свідчить про його кращу контекстну місткість і можливості отримання токенів порівняно з GPT-4.
Інші моделі Anthropic, Claude 3 Sonnet і Claude 3 Haiku, також посідають високі місця в рейтингу.
Варто зазначити, що в топ-10 лише один LLM з відкритим вихідним кодом — Qwen.
Gemini Advanced від Google також набирає популярності, пропонуючи план з 2 ТБ пам’яті та можливостями ШІ за $20 на місяць.
Безплатний Gemini Pro наразі посідає 4 місце, а топова модель Gemini Ultra поки що не представлена в рейтингу.
)
)
)
)
)
)
)
)
