Les agents de modèles de langage auto-évolutifs sont conçus pour réécrire un état persistant après un retour d’information, mais un nouvel article arXiv soutient qu’il n’a pas été véritablement testé si ce processus permet à un agent d’apprendre une règle que personne ne lui a énoncée. L’article introduit CLR-Bench, un benchmark Curriculum of Latent Rules, afin de distinguer une véritable induction de règle de la stratégie plus simple consistant à consigner chaque correction comme une exception. Dans le benchmark, un agent qui ne conserve qu’une liste croissante peut réussir les tâches de pratique tout en manquant des cas non vus que la règle sous-jacente devrait couvrir.
CLR-Bench est construit à partir de chaînes de tâches d’agrégation portant sur des enregistrements réalistes, comme le comptage de segments de vol remboursables par service ou de dossiers de médicaments à examiner par patient. Chaque chaîne ajoute une règle cachée par niveau au-dessus des règles précédentes. Une règle opère sur une étiquette opaque qui représente un regroupement nommé publié sur le Web, comme les membres fondateurs d’une alliance aérienne. La tâche fournit une valeur d’exemple, le retour de pratique révèle un membre supplémentaire et un non-membre, et le test vérifie des membres non vus et des non-membres similaires. Par exemple, si l’exemple est Lufthansa, la pratique peut montrer que Thai Airways appartient au même regroupement et qu’ITA Airways n’en fait pas partie ; le test interroge ensuite sur United Airlines, qui n’est jamais apparu dans le retour d’information, tandis que des non-membres similaires doivent encore être comptés. L’article indique que la réussite exige de transformer les éléments de preuve en la bonne catégorie et de stocker cette catégorie dans l’état de l’agent.
Le benchmark utilise un pipeline automatisé pour construire et certifier des chaînes à partir d’un nouveau domaine de données, avec des sondes de modèles de langage vérifiant que le modèle de base connaît les membres de chaque regroupement et ne le devine pas sans retour d’information. Les sondes certifient aussi que, selon une convention de regroupement nommé, les preuves identifient le regroupement. Quatre autres modèles de base devinent eux aussi rarement les regroupements, selon l’article. L’ensemble publié contient 20 chaînes sur 10 domaines, avec quatre niveaux par chaîne, en associant chaque règle cachée à une tâche de pratique et à une tâche de test. Au total, le benchmark comprend 80 règles cachées, 80 tâches de pratique et 80 tâches de test. Les domaines vont de l’audit des dépenses de voyage et des revues de pharmacie aux journaux système, aux importations de produits chimiques et au contrôle par l’État du port.
L’article évalue six méthodes récentes d’auto-évolution. Avec le modèle certificateur, les méthodes apprennent à peine : le meilleur gain est d’au plus 5 points par rapport à un agent figé, et elles excluent seulement 6 à 12 % des membres non vus du décompte, moins que les 20 % atteints en conservant simplement l’historique brut de pratique. Leurs états contiennent le membre révélé dans 75 à 98 % des cas et presque jamais le nom de la classe, rapporte l’article. Lorsque la pratique expose un membre que la liste omet, les méthodes ajoutent ce membre à la liste. Une leçon fixe qui énonce la convention de regroupement nommé améliore les mêmes méthodes de 14,5 à 16,5 points.
Avec le modèle de base plus puissant GPT-6-Sol, ACE et Dynamic Cheatsheet apprennent à partir du seul retour d’information, atteignant 78 % de précision et résolvant 59 à 60 % des cellules uniques, contre 53 % et 8 % avec le modèle certificateur. Ils dépassent également la référence fondée sur l’historique brut. L’article affirme que CLR-Bench mesure donc la qualité de l’apprentissage d’un agent et montre que cette capacité varie selon les modèles. Le code et les données sont disponibles à l’adresse https://github.com/yausankit/clr-bench.
Sources: arXiv cs.AI.