Anthropic заявила про скорочення часу до першого токена на 35% завдяки Message Threads

Anthropic запустила Message Threads у публічній бета-версії на платформі Claude. Раніше кожен запит до API мав містити всю історію розмови. Тепер Message Threads передає лише зміни після попереднього повідомлення. За даними Anthropic, для запитів обсягом від 500 000 до 1 млн токенів це скорочує час до першого токена приблизно на 35%.

Найбільше від цього виграють агенти для програмування й роботи з комп’ютером, а також сценарії, у яких обробляють багато документів або зображень, зазначає компанія. Між запитами дані розмови зберігаються в пам’яті в зашифрованому вигляді й видаляються після п’яти хвилин бездіяльності. Витрата токенів не змінюється: Claude і далі опрацьовує повну історію розмови.

Функція доступна на платформі Claude, а також через AWS, Microsoft Foundry та Google Cloud. Деталі наведено в документації.