CLR-Bench prüft, ob selbstevolvierende Agenten verborgene Regeln lernen oder nur Ausnahmen protokollieren

Selbstevolvierende Sprachmodell-Agenten sind dafür konzipiert, nach Feedback einen persistenten Zustand neu zu schreiben, aber ein neues arXiv-Papier argumentiert, dass weitgehend ungetestet geblieben ist, ob dieser Prozess einen Agenten eine Regel lernen lässt, die ihm niemand genannt hat. Das Papier führt CLR-Bench ein, einen Benchmark für ein Curriculum of Latent Rules, um echte Regelinduktion von der einfacheren Strategie zu trennen, jede Korrektur als Ausnahme zu notieren. In dem Benchmark kann ein Agent, der nur eine wachsende Liste führt, Übungsaufgaben bestehen, während er ungesehene Fälle verfehlt, die die zugrunde liegende Regel abdecken sollte.

CLR-Bench wird aus Ketten von Aggregationsaufgaben über realistische Datensätze aufgebaut, etwa dem Zählen erstattungsfähiger Flugsegmente nach Abteilung oder prüfbarer Medikamentendatensätze nach Patient. Jede Kette fügt pro Ebene eine verborgene Regel zu den früheren Regeln hinzu. Eine Regel operiert auf einem undurchsichtigen Label, das für eine im Web veröffentlichte benannte Gruppierung steht, wie die Gründungsmitglieder einer Fluggesellschaftsallianz. Die Aufgabe liefert einen Beispielwert, Übungsfeedback offenbart ein zusätzliches Mitglied und ein Nichtmitglied, und der Test prüft ungesehene Mitglieder und ähnliche Nichtmitglieder. Wenn das Beispiel beispielsweise Lufthansa ist, kann die Übung zeigen, dass Thai Airways zu derselben Gruppierung gehört und ITA Airways nicht; der Test fragt dann nach United Airlines, die nie im Feedback erschien, während ähnliche Nichtmitglieder weiterhin gezählt werden müssen. Das Papier sagt, dass Erfolg erfordert, die Evidenz in die richtige Kategorie zu überführen und diese Kategorie im Zustand des Agenten zu speichern.

Der Benchmark nutzt eine automatisierte Pipeline, um Ketten aus einer neuen Datendomäne aufzubauen und zu zertifizieren, wobei Sprachmodell-Probes prüfen, dass das Basismodell die Mitglieder jeder Gruppierung kennt und sie nicht ohne Feedback errät. Probes zertifizieren außerdem, dass unter einer Konvention für benannte Gruppierungen die Evidenz die Gruppierung identifiziert. Vier weitere Basismodelle erraten die Gruppierungen ebenfalls selten, so das Papier. Der veröffentlichte Satz enthält 20 Ketten über 10 Domänen, mit vier Ebenen pro Kette, wobei jede verborgene Regel mit einer Übungsaufgabe und einer Testaufgabe gepaart wird. Insgesamt umfasst der Benchmark 80 verborgene Regeln, 80 Übungsaufgaben und 80 Testaufgaben. Die Domänen reichen von Reisekostenprüfungen und Apothekenprüfungen bis hin zu Systemprotokollen, Chemieimporten und Hafenstaatkontrolle.

Das Papier evaluiert sechs aktuelle Selbstevolution-Methoden. Mit dem zertifizierenden Modell lernen die Methoden kaum: Der beste Zugewinn beträgt höchstens 5 Punkte gegenüber einem eingefrorenen Agenten, und sie schließen nur 6–12 % der ungesehenen Mitglieder von der Zählung aus, weniger als die 20 %, die durch bloßes Behalten der rohen Übungshistorie erreicht werden. Ihre Zustände enthalten das offenbarte Mitglied in 75–98 % der Fälle und fast nie den Klassennamen, berichtet das Papier. Wenn die Übung ein Mitglied offenlegt, das die Liste verfehlt, fügen die Methoden dieses Mitglied zur Liste hinzu. Eine feste Lektion, die die Konvention für benannte Gruppierungen angibt, hebt dieselben Methoden um 14,5 bis 16,5 Punkte.

Mit dem stärkeren Basismodell GPT-6-Sol lernen ACE und Dynamic Cheatsheet allein aus Feedback und erreichen 78 % Genauigkeit und lösen 59–60 % der einzelnen Zellen, gegenüber 53 % und 8 % mit dem zertifizierenden Modell. Sie übertreffen auch die Referenz auf Basis der rohen Historie. Das Papier sagt, dass CLR-Bench daher misst, wie gut ein Agent lernt, und zeigt, dass diese Fähigkeit sich zwischen Modellen unterscheidet. Code und Daten sind unter https://github.com/yausankit/clr-bench verfügbar.

Quellen: arXiv cs.AI.