Le descrizioni degli strumenti possono spiegare cosa fa un’azione senza indicare se sia affidabile nel momento in cui un agente deve utilizzarla. Un nuovo studio definisce questa lacuna «cecità operativa» e verifica se fornire ai modelli un’istantanea concisa e verificata delle condizioni del sistema possa migliorare le loro scelte prima che venga invocato uno strumento.
L’approccio proposto, Agent Harness Awareness, fornisce al modello informazioni selezionate e aggiornate sulle condizioni di esecuzione, lasciando al sistema host il controllo della misurazione, dell’applicazione delle regole, della rivalidazione e dell’invio delle richieste. Il modello può usare l’istantanea per scegliere un’azione idonea, ma non può modificare la telemetria né aggirare le misure di sicurezza dell’host.
In un benchmark controllato chiamato ToolRoute, i ricercatori hanno confrontato le scelte degli strumenti in 216 decisioni che coinvolgevano GPT-5.6 Sol, Claude Sonnet 5 e Gemini 3.7 Flash. Il compito e gli strumenti candidati sono rimasti invariati, mentre variavano le informazioni fornite ai modelli. Rispetto a un gruppo di controllo con la stessa interfaccia in stile telemetrico, ma con valori neutri, le informazioni verificate sullo stato degli strumenti hanno ridotto il rimpianto di policy osservabile medio da circa 4.252 millisecondi a 131 millisecondi, una riduzione del 96,9%. Il completamento con un solo invio è salito dal 69,4% al 95,8%.
Lo studio ha inoltre confrontato la condizione con stato verificato con una condizione di riferimento basata solo sul compito. Il rimpianto medio è diminuito del 97,3%, passando da circa 4.826 millisecondi a 131 millisecondi, mentre il completamento è aumentato dal 65,3% al 95,8%. Con lo stato verificato, ciascun modello ha completato 23 decisioni su 24. Tutte le 69 selezioni di una route attiva in quella condizione corrispondevano alla route giudicata migliore sulla base delle informazioni operative disponibili; nelle tre decisioni rimanenti, i modelli hanno scelto di attendere quando entrambe le route erano degradate.
Una replica separata, composta da 27 decisioni, ha verificato l’approccio tramite esecuzione HTTP locale dal vivo, con span client OpenTelemetry e guasti iniettati usando Toxiproxy. In quel test, lo stato verificato ha ridotto il rimpianto medio da circa 8.956 millisecondi a zero e ha portato a termine tutte e nove le azioni dal vivo. La condizione di controllo neutra ne ha completate cinque su nove.
Gli autori circoscrivono i risultati allo stato degli strumenti e della rete nella configurazione testata. Indicano come possibili estensioni le condizioni di runtime, la pressione sull’hardware, i costi, il recupero dopo i guasti e la selezione tra diversi provider o fonti di dati, precisando che richiedono ancora una valutazione empirica. Gli studi verificano se la telemetria corrente dell’host possa migliorare la scelta operativa iniziale di un agente; non dimostrano risultati per questi scenari più ampi.
Fonti: arXiv cs.AI.