Anthropic ha lanzado Message Threads en beta pública en su plataforma Claude. La función cambia la forma en que se envía el historial de conversación con las solicitudes de la API Messages: en lugar de volver a enviar el historial completo cada vez, los agentes transmiten solo lo que ha cambiado desde el mensaje anterior.
Anthropic afirma que esto reduce en aproximadamente un 35 % el tiempo hasta el primer token en solicitudes de entre 500.000 y un millón de tokens. La empresa señala que los principales beneficiarios son los agentes de programación, los agentes que utilizan computadoras y los flujos de trabajo que procesan grandes volúmenes de documentos o imágenes.
El hilo de conversación permanece cifrado en la memoria entre solicitudes y caduca tras cinco minutos de inactividad. El uso de tokens no cambia, porque Claude sigue leyendo todo el historial de conversación. Message Threads está disponible en la plataforma Claude y a través de AWS, Microsoft Foundry y Google Cloud.
Fuentes: The Decoder.