Les descriptions des outils peuvent expliquer ce que fait une action sans indiquer si elle est fiable au moment où un agent doit l’utiliser. Une nouvelle étude qualifie ce décalage d’« aveuglement opérationnel » et examine si fournir aux modèles un aperçu concis et vérifié de l’état du système peut améliorer leurs choix avant le déclenchement d’un appel à un outil.

L’approche proposée, appelée « prise de conscience du système d’exécution de l’agent » (Agent Harness Awareness), fournit au modèle des informations sélectionnées et récentes sur les conditions d’exécution, tout en laissant le système hôte maître de la mesure, de l’application des règles, de la revalidation et du déclenchement. Le modèle peut s’appuyer sur cet aperçu pour choisir une action admissible, mais il ne peut ni modifier la télémétrie ni contourner les protections du système hôte.

Dans un benchmark contrôlé appelé ToolRoute, les chercheurs ont comparé les choix d’outils pour 216 décisions impliquant GPT-5.6 Sol, Claude Sonnet 5 et Gemini 3.7 Flash. La tâche et les outils candidats sont restés identiques, tandis que les informations fournies aux modèles variaient. Par rapport à un groupe témoin doté de la même interface de type télémétrie, mais avec des valeurs neutres, les informations vérifiées sur l’état des outils ont fait baisser le regret moyen observable de la politique, d’environ 4 252 millisecondes à 131 millisecondes, soit une réduction de 96,9 %. Le taux d’accomplissement en un seul déclenchement est passé de 69,4 % à 95,8 %.

L’étude a également comparé la condition d’état vérifié à une référence limitée aux informations sur la tâche. Le regret moyen a diminué de 97,3 %, passant d’environ 4 826 millisecondes à 131 millisecondes, tandis que le taux d’accomplissement est passé de 65,3 % à 95,8 %. Chaque modèle a réussi 23 des 24 décisions lorsqu’il disposait d’un état vérifié. Dans cette condition, les 69 sélections d’itinéraire actif correspondaient toutes à l’itinéraire jugé optimal au vu des informations opérationnelles disponibles ; lors des trois autres décisions, le modèle a choisi d’attendre alors que les deux itinéraires étaient dégradés.

Une réplication distincte portant sur 27 décisions a testé l’approche au moyen d’une exécution HTTP locale en conditions réelles, avec des traces client OpenTelemetry et des pannes injectées à l’aide de Toxiproxy. Lors de ce test, l’état vérifié a ramené le regret moyen d’environ 8 956 millisecondes à zéro et a permis de mener à bien les neuf actions en conditions réelles. La condition témoin neutre en a accompli cinq sur neuf.

Les auteurs limitent leurs conclusions à l’état des outils et du réseau dans le dispositif testé. Ils mentionnent les conditions d’exécution, la pression sur le matériel, les coûts, la reprise après des défaillances ainsi que le choix entre différents fournisseurs ou sources de données parmi les prolongements possibles, qui nécessitent encore une évaluation empirique. Les études vérifient si la télémétrie actuelle de l’hôte peut améliorer le choix opérationnel initial d’un agent ; elles ne permettent pas d’établir des résultats pour ces scénarios plus larges.

Sources: arXiv cs.AI.