Anthropic a lancé Message Threads en bêta publique sur sa plateforme Claude. Cette fonctionnalité modifie la manière dont l’historique des conversations est transmis avec les requêtes de l’API Messages : au lieu de renvoyer l’historique complet à chaque fois, les agents ne transmettent que les éléments qui ont changé depuis le message précédent.
Anthropic affirme que cela réduit d’environ 35 % le délai avant le premier jeton pour les requêtes contenant entre 500 000 et un million de jetons. L’entreprise cite les agents de programmation, les agents capables d’utiliser un ordinateur et les flux de travail qui traitent de grandes quantités de documents ou d’images parmi les principaux bénéficiaires.
Le fil de conversation reste chiffré en mémoire entre les requêtes et expire après cinq minutes d’inactivité. L’utilisation de jetons reste inchangée, car Claude lit toujours l’intégralité de l’historique de la conversation. Message Threads est disponible sur la plateforme Claude ainsi que sur AWS, Microsoft Foundry et Google Cloud.
Sources: The Decoder.