Anthropic ha lanciato Message Threads in beta pubblica sulla sua piattaforma Claude. La funzionalità modifica il modo in cui la cronologia della conversazione viene inviata con le richieste all’API Messages: invece di reinviare ogni volta l’intera cronologia, gli agenti trasmettono soltanto ciò che è cambiato dall’ultimo messaggio.
Anthropic afferma che questo riduce di circa il 35% il tempo al primo token per le richieste comprese tra 500.000 e un milione di token. L’azienda indica negli agenti di programmazione, negli agenti che interagiscono con i computer e nei flussi di lavoro che gestiscono grandi quantità di documenti o immagini i principali beneficiari.
Il thread della conversazione rimane crittografato in memoria tra una richiesta e l’altra e scade dopo cinque minuti di inattività. L’utilizzo dei token non cambia, perché Claude continua a leggere l’intera cronologia della conversazione. Message Threads è disponibile sulla piattaforma Claude e tramite AWS, Microsoft Foundry e Google Cloud.
Fonti: The Decoder.