A Anthropic lançou o Message Threads em versão beta pública na sua plataforma Claude. O recurso muda a forma como o histórico da conversa é enviado nas solicitações da Messages API: em vez de reenviar todo o histórico a cada vez, os agentes transmitem apenas o que mudou desde a mensagem anterior.
A Anthropic afirma que isso reduz em cerca de 35% o tempo até o primeiro token em solicitações entre 500.000 e um milhão de tokens. A empresa aponta agentes de programação, agentes de uso de computadores e fluxos de trabalho que lidam com grandes volumes de documentos ou imagens como os principais beneficiários.
A conversa permanece criptografada na memória entre as solicitações e expira após cinco minutos de inatividade. O uso de tokens não muda, pois Claude continua lendo o histórico completo da conversa. O Message Threads está disponível na plataforma Claude e por meio da AWS, do Microsoft Foundry e do Google Cloud.
Fontes: The Decoder.