StateBench est un nouveau benchmark conçu pour mesurer la capacité des modèles de langage à suivre les informations concernant des personnes, des objets ou des variables à mesure qu’elles évoluent dans de longs documents. Ses créateurs évaluent quatre niveaux de difficulté, depuis la récupération d’une valeur inchangée jusqu’au suivi de chaînes de mises à jour dans lesquelles une variable peut prendre la valeur actuelle d’une autre.

Le benchmark reflète différents défis pratiques, qu’il s’agisse de suivre les affectations de variables dans du code ou de repérer les déplacements de personnages et d’objets dans une histoire. Certaines tâches consistent uniquement à trouver la mise à jour la plus récente. Les tâches plus exigeantes nécessitent de répercuter les changements précédents : omettre une seule étape peut donc conduire à une réponse finale incorrecte.

Lors des tests menés sur des modèles préentraînés ouverts, la plupart ont obtenu de bons résultats sur les tâches les plus simples, mais leur précision a diminué à mesure que les entrées s’allongeaient pour les problèmes impliquant une réaffectation. En général, ils sont restés au niveau du hasard sur les tâches les plus complexes. Les résultats dépendaient également de la présentation du problème : certains modèles qui obtenaient de bons résultats dans un format étaient proches du niveau du hasard lorsque la même tâche sous-jacente était formulée comme une série de modifications dans un tableur.

Les chercheurs ont également testé Gemini 3.8 Flash, Claude Opus 5.5, ainsi que GPT-6 Sol et Luna. Les modèles ont bien géré les deux niveaux les plus faciles, mais leur précision a fortement chuté pour les tâches nécessitant des mises à jour cumulatives ou fondées sur des références. Pour les tâches finies générales les plus longues, les quatre modèles ont obtenu un score de 13 % ou moins.

Pour déterminer si ces difficultés découlaient de l’architecture des modèles ou du préentraînement, les chercheurs ont entraîné à partir de zéro des modèles de 275 millions de paramètres sur StateBench. Les modèles ont appris à partir de séquences comprenant jusqu’à 256 affectations et ont été testés sur des séquences allant jusqu’à 64 000 affectations.

Les modèles Gated DeltaNet et hybrides ont presque parfaitement généralisé aux trois premiers niveaux, y compris à des séquences bien plus longues que celles utilisées lors de l’entraînement. Les transformeurs se sont dégradés sur les séquences plus longues et n’ont pas appris le niveau le plus difficile. Une variante de Gated DeltaNet dotée d’une mise à jour de mémoire plus flexible a obtenu les meilleurs résultats à ce niveau, restant proche de la perfection pour une séquence environ dix fois plus longue que la plus longue séquence d’entraînement.

Les résultats suggèrent que l’entraînement direct peut aider les modèles hybrides et récurrents à acquérir des capacités de suivi d’état qui étaient absentes de leurs versions préentraînées. Les chercheurs indiquent qu’en revanche, les transformeurs n’ont pas appris les tâches les plus difficiles, même avec un entraînement ciblé.

StateBench suppose actuellement un nombre fixe de variables ; il ne couvre donc pas les situations dans lesquelles de nouvelles personnes ou de nouveaux objets apparaissent au fil du temps. Les chercheurs soulignent également que des questions restent ouvertes quant aux capacités des différentes variantes de Gated DeltaNet et à l’influence que peuvent avoir la précision numérique ou les couches d’attention sur ces capacités.

Sources: Hugging Face Blog.