Нова функція Claude від Anthropic дозволяє розробникам уникати повторюваних підказок

Anthropic представила нову функцію кешування підказок у своєму програмному інтерфейсі, доступну в публічній бета-версії для моделей Claude 3.5 Sonnet і Claude 3 Haiku. Ця функція призначена для запам’ятовування контексту між зверненнями до API, що дозволяє розробникам уникати повторення запитів, що може призвести до значного скорочення часу роботи. Втім, підтримка найбільшої моделі Claude, Opus, все ще знаходиться в розробці та буде доступна найближчим часом.

Кешування підказок базується на методі, описаному в документі 2023 року, і дозволяє користувачам зберігати часто використовувані контексти у своїх сесіях. Це особливо корисно для сценаріїв, коли в підказку потрібно включити велику кількість контексту і посилатися на нього в наступних взаємодіях з моделлю. Кешуючи ці підказки, користувачі можуть додавати додаткову інформацію без збільшення витрат. Ця функція також допомагає розробникам і користувачам краще налаштовувати відповіді моделі.

Перші користувачі, які почали застосовувати кешування підказок, повідомили про значне покращення показників як швидкості, так і вартості в різних сценаріях використання. Наприклад, це виявилося корисним у таких сценаріях, як включення повної бази знань у підказки, надання прикладів зі 100 відповідей або збереження кожного повороту розмови. Інші потенційні варіанти використання включають зменшення витрат і затримок для діалогових агентів, які обробляють довгі інструкції або документи, прискорення автозавершення коду і вбудовування цілих документів у підказки.

Однією з ключових переваг кешування підказок є нижча ціна за токен. Наприклад, написання підказки для кешування в Claude 3.5 Sonnet коштує $3,75 за мільйон токенів, але використання кешованої підказки знижує вартість до $0,30. Це означає, що, заплативши трохи більшу початкову вартість, користувачі можуть досягти 10-кратної економії при використанні кешованої підказки в майбутній взаємодії. Для Claude 3 Haiku вартість ще нижча: кешування коштує $0,30 за мільйон токенів, а доступ до кешованих підказок становить $0,03 за мільйон токенів. Хоча кешування підказок ще не доступне для Claude 3 Opus, ціни вже опубліковані: $18,75/млн токенів за кешування та $1,50/млн токенів за доступ до кешованих підказок.

Однак важливо зазначити, що кеш підказок Anthropic має лише 5-хвилинний термін дії, як зазначає експерт з ШІ Саймон Віллісон. Кеш оновлюється при кожному використанні, а це означає, що він найкраще підходить для сесій, які вимагають швидкого, багаторазового доступу до кешованих даних.

Оперативне кешування не є унікальною особливістю Anthropic; інші платформи пропонують подібні функції. Наприклад, система виведення LLM Lamina використовує кешування KV для зменшення витрат на графічний процесор. Популярність такої функції видно з дискусій на форумах розробників OpenAI та GitHub, де розробники часто запитують про рішення з оперативним кешуванням.

Важливо розрізняти кешування підказок і пам’ять LLM. Наприклад, GPT-4o від OpenAI пропонує пам’ять, яка дозволяє моделі запам’ятовувати вподобання користувача або деталі, але вона не зберігає фактичні запити та відповіді, як це робить кешування підказок.

Впровадження Anthropic кешування підказок є частиною постійної тенденції в індустрії технологій штучного інтелекту, де такі компанії, як Anthropic, Google та OpenAI, беруть участь у перегонах на зниження цін для сторонніх розробників. Це змагання має на меті надати більш економічно вигідні варіанти для розробників, які працюють на цих платформах, роблячи ШІ більш доступним.