As descrições das ferramentas podem explicar o que uma ação faz sem mostrar se ela é confiável no momento em que um agente precisa usá-la. Um novo estudo chama essa lacuna de “cegueira operacional” e testa se fornecer aos modelos um retrato conciso e verificado das condições do sistema pode melhorar suas escolhas antes que uma chamada de ferramenta seja despachada.

A abordagem proposta, Consciência do Ambiente de Execução do Agente (Agent Harness Awareness), fornece ao modelo informações selecionadas e atualizadas sobre as condições de execução, enquanto mantém o sistema anfitrião no controle da medição, da aplicação das regras, da revalidação e do despacho. O modelo pode usar o retrato para escolher uma ação elegível, mas não pode alterar a telemetria nem contornar as salvaguardas do anfitrião.

Em um benchmark controlado chamado ToolRoute, os pesquisadores compararam as escolhas de ferramentas em 216 decisões envolvendo GPT-5.6 Sol, Claude Sonnet 5 e Gemini 3.7 Flash. A tarefa e as ferramentas candidatas foram mantidas constantes, enquanto variavam as informações fornecidas aos modelos. Em comparação com um grupo de controle que usava a mesma interface no estilo da telemetria, mas com valores neutros, as informações verificadas sobre a integridade das ferramentas reduziram o arrependimento médio observável da política de cerca de 4.252 milissegundos para 131 milissegundos, uma redução de 96,9%. A conclusão com um único despacho aumentou de 69,4% para 95,8%.

O estudo também comparou a condição de estado verificado com uma linha de base que fornecia apenas a tarefa. O arrependimento médio caiu 97,3%, de cerca de 4.826 milissegundos para 131 milissegundos, enquanto a conclusão aumentou de 65,3% para 95,8%. Cada modelo concluiu 23 das 24 decisões quando recebeu o estado verificado. Todas as 69 seleções de rota ativa nessa condição corresponderam à rota considerada a melhor com base nas informações operacionais disponíveis; nas três decisões restantes, os modelos optaram por esperar quando ambas as rotas estavam degradadas.

Uma replicação separada, com 27 decisões, testou a abordagem por meio de execução HTTP local ao vivo, com spans do cliente OpenTelemetry e falhas injetadas usando o Toxiproxy. Nesse teste, o estado verificado reduziu o arrependimento médio de cerca de 8.956 milissegundos a zero e concluiu todas as nove ações ao vivo. A condição de controle neutro concluiu cinco das nove.

Os autores limitam suas conclusões à integridade das ferramentas e da rede na configuração testada. Eles apontam as condições de execução, a pressão sobre o hardware, os custos, a recuperação após falhas e a seleção entre diferentes provedores ou fontes de dados como possíveis extensões que ainda exigem avaliação empírica. Os estudos testam se a telemetria atual do anfitrião pode melhorar a escolha operacional inicial de um agente; não estabelecem resultados para esses cenários mais amplos.

Fontes: arXiv cs.AI.