Agentes de modelo de linguagem auto-evolutivos são projetados para reescrever um estado persistente após feedback, mas um novo artigo no arXiv argumenta que tem sido amplamente não testado se esse processo permite que um agente aprenda uma regra que ninguém lhe disse. O artigo apresenta o CLR-Bench, um benchmark Curriculum of Latent Rules, para separar a indução genuína de regras da estratégia mais simples de anotar cada correção como uma exceção. No benchmark, um agente que apenas mantém uma lista crescente pode passar nas tarefas de prática enquanto deixa de cobrir casos não vistos que a regra subjacente deveria abranger.
O CLR-Bench é construído a partir de cadeias de tarefas de agregação sobre registros realistas, como contar segmentos de voo reembolsáveis por departamento ou registros de medicamentos revisáveis por paciente. Cada cadeia adiciona uma regra oculta por nível sobre as regras anteriores. Uma regra opera sobre um rótulo opaco que representa um agrupamento nomeado publicado na Web, como os membros fundadores de uma aliança de companhias aéreas. A tarefa fornece um valor de exemplo, o feedback de prática revela um membro adicional e um não membro, e o teste verifica membros não vistos e não membros semelhantes. Por exemplo, se o exemplo for Lufthansa, a prática pode mostrar que Thai Airways pertence ao mesmo agrupamento e que ITA Airways não pertence; o teste então pergunta sobre United Airlines, que nunca apareceu no feedback, enquanto não membros semelhantes ainda devem ser contados. O artigo afirma que o sucesso exige transformar a evidência na categoria correta e armazenar essa categoria no estado do agente.
O benchmark usa um pipeline automatizado para construir e certificar cadeias a partir de um novo domínio de dados, com sondas de modelo de linguagem verificando se o modelo de base conhece os membros de cada agrupamento e não o adivinha sem feedback. As sondas também certificam que, sob uma convenção de agrupamento nomeado, a evidência identifica o agrupamento. Outros quatro modelos de base também raramente adivinham os agrupamentos, segundo o artigo. O conjunto divulgado contém 20 cadeias em 10 domínios, com quatro níveis por cadeia, pareando cada regra oculta com uma tarefa de prática e uma tarefa de teste. No total, o benchmark inclui 80 regras ocultas, 80 tarefas de prática e 80 tarefas de teste. Os domínios vão de auditorias de despesas de viagem e revisões de farmácia a logs de sistema, importações químicas e controle de Estado do porto.
O artigo avalia seis métodos recentes de auto-evolução. Com o modelo certificador, os métodos quase não aprendem: o melhor ganho é de no máximo 5 pontos sobre um agente congelado, e eles excluem apenas 6–12% dos membros não vistos da contagem, menos que os 20% alcançados apenas mantendo o histórico bruto de prática. Seus estados contêm o membro revelado em 75–98% dos casos e quase nunca o nome da classe, informa o artigo. Quando a prática expõe um membro que a lista não inclui, os métodos adicionam esse membro à lista. Uma lição fixa que declara a convenção de agrupamento nomeado eleva os mesmos métodos em 14,5 a 16,5 pontos.
Com o modelo de base mais forte GPT-6-Sol, ACE e Dynamic Cheatsheet aprendem apenas com feedback, alcançando 78% de acurácia e resolvendo 59–60% das células individuais, contra 53% e 8% com o modelo certificador. Eles também superam a referência de histórico bruto. O artigo afirma que o CLR-Bench, portanto, mede quão bem um agente aprende e mostra que essa habilidade difere entre modelos. Código e dados estão disponíveis em https://github.com/yausankit/clr-bench.
Fontes: arXiv cs.AI.