Las descripciones de las herramientas pueden explicar lo que hace una acción sin mostrar si es fiable en el momento en que un agente necesita utilizarla. Un nuevo estudio denomina «ceguera operativa» a esta brecha y evalúa si proporcionar a los modelos una instantánea concisa y verificada de las condiciones del sistema puede mejorar sus decisiones antes de que se envíe una llamada a una herramienta.
El enfoque propuesto, denominado Conciencia del arnés del agente, proporciona al modelo información seleccionada y actualizada sobre las condiciones de ejecución, mientras deja que el sistema anfitrión controle la medición, la aplicación de las medidas, la nueva validación y el envío. El modelo puede usar la instantánea para elegir una acción admisible, pero no puede modificar la telemetría ni eludir las salvaguardas del anfitrión.
En una prueba de referencia controlada llamada ToolRoute, los investigadores compararon las elecciones de herramientas en 216 decisiones que involucraron a GPT-5.6 Sol, Claude Sonnet 5 y Gemini 3.7 Flash. La tarea y las herramientas candidatas se mantuvieron constantes, mientras que variaba la información proporcionada a los modelos. Frente a un Control con la misma interfaz de estilo telemétrico, pero con valores neutros, la información verificada sobre el estado de las herramientas redujo el arrepentimiento medio observable de política de unos 4.252 milisegundos a 131 milisegundos, una reducción del 96,9 %. La finalización con un solo envío aumentó del 69,4 % al 95,8 %.
El estudio también comparó la condición de estado verificado con una línea de base que solo incluía la tarea. El arrepentimiento medio cayó un 97,3 %, de unos 4.826 milisegundos a 131 milisegundos, mientras que la finalización aumentó del 65,3 % al 95,8 %. Cada modelo completó 23 de las 24 decisiones cuando recibió el estado verificado. Las 69 selecciones de ruta activa en esa condición coincidieron con la ruta considerada óptima según la información operativa disponible; en las tres decisiones restantes, se eligió esperar cuando ambas rutas estaban degradadas.
Una réplica independiente de 27 decisiones probó el enfoque mediante ejecución HTTP local en vivo, con trazas de cliente de OpenTelemetry e incidencias inyectadas mediante Toxiproxy. En esa prueba, el estado verificado redujo el arrepentimiento medio de unos 8.956 milisegundos a cero y permitió completar las nueve acciones en vivo. La condición de control neutral completó cinco de nueve.
Los autores limitan sus conclusiones al estado de las herramientas y de la red en la configuración probada. Señalan como posibles ampliaciones las condiciones de ejecución, la presión sobre el hardware, los costes, la recuperación tras fallos y la selección entre distintos proveedores o fuentes de datos, aunque estas aún requieren una evaluación empírica. Los estudios evalúan si la telemetría actual del sistema anfitrión puede mejorar la decisión operativa inicial de un agente; no establecen resultados para esos escenarios más amplios.
Fuentes: arXiv cs.AI.