Werkzeugbeschreibungen können erläutern, was eine Aktion bewirkt, ohne zu zeigen, ob sie zuverlässig ist, wenn ein Agent sie einsetzen muss. Eine neue Studie bezeichnet diese Lücke als „operative Blindheit“ und untersucht, ob ein prägnanter, verifizierter Überblick über die Systembedingungen den Modellen helfen kann, bessere Entscheidungen zu treffen, bevor ein Werkzeugaufruf ausgeführt wird.

Der vorgeschlagene Ansatz, Agent Harness Awareness, versorgt das Modell mit ausgewählten, aktuellen Informationen zu den Ausführungsbedingungen. Messung, Durchsetzung, erneute Validierung und Ausführung bleiben dabei unter der Kontrolle des Host-Systems. Das Modell kann den Überblick nutzen, um eine zulässige Aktion auszuwählen, aber weder die Telemetriedaten ändern noch die Schutzmaßnahmen des Hosts umgehen.

In einem kontrollierten Benchmark namens ToolRoute verglichen die Forschenden die Werkzeugauswahl anhand von 216 Entscheidungen mit GPT-5.6 Sol, Claude Sonnet 5 und Gemini 3.7 Flash. Aufgabe und verfügbare Werkzeuge blieben unverändert, während die den Modellen bereitgestellten Informationen variiert wurden. Gegenüber einer Kontrollbedingung mit derselben Telemetrie-Schnittstelle, aber neutralen Werten senkten verifizierte Informationen zum Zustand der Werkzeuge das mittlere beobachtbare Policy-Regret von etwa 4.252 Millisekunden auf 131 Millisekunden – ein Rückgang um 96,9 %. Die Erfolgsquote bei der Ausführung mit einem einzigen Aufruf stieg von 69,4 % auf 95,8 %.

Die Studie verglich die Bedingung mit verifiziertem Zustand außerdem mit einer Ausgangsbedingung, bei der nur die Aufgabe bekannt war. Das mittlere Regret sank um 97,3 %, von etwa 4.826 Millisekunden auf 131 Millisekunden, während die Erfolgsquote von 65,3 % auf 95,8 % stieg. Jedes Modell schloss 23 von 24 Entscheidungen ab, wenn es verifizierte Zustandsinformationen erhielt. Alle 69 Auswahlen einer aktiven Route in dieser Bedingung stimmten mit der Route überein, die anhand der verfügbaren Betriebsinformationen als beste bewertet wurde; bei den übrigen drei Entscheidungen wurde abgewartet, weil beide Routen beeinträchtigt waren.

In einer separaten Replikation mit 27 Entscheidungen wurde der Ansatz mittels lokaler HTTP-Ausführung unter Echtzeitbedingungen getestet. Dabei kamen OpenTelemetry-Client-Spans zum Einsatz; Fehler wurden mit Toxiproxy eingespeist. In diesem Test senkten verifizierte Zustandsinformationen das mittlere Regret von etwa 8.956 Millisekunden auf null, und alle neun Aktionen wurden live abgeschlossen. Die neutrale Kontrollbedingung schloss fünf von neun Aktionen ab.

Die Autorinnen und Autoren beschränken ihre Ergebnisse auf den Zustand der Werkzeuge und des Netzwerks im getesteten Aufbau. Als mögliche Erweiterungen nennen sie Laufzeitbedingungen, Hardwareauslastung, Kosten, die Wiederherstellung nach Fehlern sowie die Auswahl zwischen verschiedenen Anbietern oder Datenquellen, deren empirische Prüfung noch aussteht. Die Studien untersuchen, ob aktuelle Host-Telemetriedaten die erste operative Entscheidung eines Agenten verbessern können; Ergebnisse für diese weiter gefassten Szenarien belegen sie nicht.

Quellen: arXiv cs.AI.