Anthropic hat Message Threads auf seiner Claude-Plattform in der öffentlichen Betaversion eingeführt. Die Funktion ändert, wie der Gesprächsverlauf mit Anfragen an die Messages API übermittelt wird: Statt jedes Mal den gesamten Verlauf erneut zu senden, übertragen Agenten nur, was sich seit der vorherigen Nachricht geändert hat.
Anthropic zufolge verkürzt dies bei Anfragen mit 500.000 bis einer Million Tokens die Zeit bis zum ersten Token um etwa 35 %. Das Unternehmen nennt Coding-Agenten, Agenten zur Computernutzung sowie Workflows, die große Mengen an Dokumenten oder Bildern verarbeiten, als wichtigste Profiteure.
Der Gesprächsverlauf bleibt zwischen Anfragen verschlüsselt im Arbeitsspeicher und läuft nach fünf Minuten Inaktivität ab. Der Tokenverbrauch bleibt unverändert, da Claude weiterhin den vollständigen Gesprächsverlauf liest. Message Threads ist auf der Claude-Plattform sowie über AWS, Microsoft Foundry und Google Cloud verfügbar.
Quellen: The Decoder.