Gli agenti auto-evolventi basati su modelli linguistici sono progettati per riscrivere uno stato persistente dopo il feedback, ma un nuovo articolo arXiv sostiene che è stato in gran parte non testato se questo processo consenta a un agente di apprendere una regola che nessuno gli ha detto. L'articolo introduce CLR-Bench, un benchmark Curriculum of Latent Rules, per separare la vera induzione di regole dalla strategia più semplice di annotare ogni correzione come un'eccezione. Nel benchmark, un agente che si limita a mantenere un elenco in crescita può superare i compiti di pratica pur mancando casi mai visti che la regola sottostante dovrebbe coprire.
CLR-Bench è costruito a partire da catene di compiti di aggregazione su record realistici, come il conteggio di segmenti di volo rimborsabili per reparto o di registrazioni di farmaci rivedibili per paziente. Ogni catena aggiunge una regola nascosta per livello sopra le regole precedenti. Una regola opera su un'etichetta opaca che rappresenta un raggruppamento denominato pubblicato sul Web, come i membri fondatori di un'alleanza aerea. Il compito fornisce un valore di esempio, il feedback di pratica rivela un membro aggiuntivo e un non membro, e il test verifica membri mai visti e non membri simili. Ad esempio, se l'esempio è Lufthansa, la pratica può mostrare che Thai Airways appartiene allo stesso raggruppamento e che ITA Airways no; il test chiede poi di United Airlines, che non è mai comparsa nel feedback, mentre i non membri simili devono comunque essere conteggiati. L'articolo afferma che il successo richiede di trasformare l'evidenza nella categoria corretta e di memorizzare tale categoria nello stato dell'agente.
Il benchmark utilizza una pipeline automatizzata per costruire e certificare catene da un nuovo dominio di dati, con sonde basate su modelli linguistici che verificano che il modello di base conosca i membri di ciascun raggruppamento e non lo indovini senza feedback. Le sonde certificano anche che, secondo una convenzione di raggruppamento denominato, l'evidenza identifica il raggruppamento. Secondo l'articolo, anche altri quattro modelli di base raramente indovinano i raggruppamenti. L'insieme rilasciato contiene 20 catene su 10 domini, con quattro livelli per catena, abbinando ogni regola nascosta a un compito di pratica e a un compito di test. In totale, il benchmark include 80 regole nascoste, 80 compiti di pratica e 80 compiti di test. I domini spaziano dagli audit delle spese di viaggio e dalle revisioni farmaceutiche ai log di sistema, alle importazioni chimiche e al controllo dello Stato di approdo.
L'articolo valuta sei recenti metodi di auto-evoluzione. Con il modello certificatore, i metodi apprendono a malapena: il miglior guadagno è al massimo di 5 punti rispetto a un agente congelato, ed essi escludono dal conteggio solo il 6–12% dei membri mai visti, meno del 20% raggiunto semplicemente mantenendo la cronologia grezza della pratica. I loro stati contengono il membro rivelato nel 75–98% dei casi e quasi mai il nome della classe, riporta l'articolo. Quando la pratica espone un membro che l'elenco non contiene, i metodi aggiungono quel membro all'elenco. Una lezione fissa che enuncia la convenzione di raggruppamento denominato migliora gli stessi metodi di 14,5-16,5 punti.
Con il modello di base più forte GPT-6-Sol, ACE e Dynamic Cheatsheet apprendono solo dal feedback, raggiungendo il 78% di accuratezza e risolvendo il 59–60% delle singole celle, contro il 53% e l'8% con il modello certificatore. Superano anche il riferimento basato sulla cronologia grezza. L'articolo afferma che CLR-Bench misura quindi quanto bene un agente apprende e mostra che questa capacità varia tra i modelli. Codice e dati sono disponibili all'indirizzo https://github.com/yausankit/clr-bench.
Fonti: arXiv cs.AI.