StateBench ist ein neuer Benchmark, der messen soll, wie gut Sprachmodelle Informationen über Personen, Objekte oder Variablen verfolgen, wenn diese sich im Verlauf langer Dokumente ändern. Seine Entwickler bewerten vier Schwierigkeitsstufen: von der Abfrage eines unveränderten Werts bis hin zum Nachverfolgen von Aktualisierungsketten, bei denen eine Variable den jeweils aktuellen Wert einer anderen annehmen kann.

Der Benchmark bildet verschiedene praktische Herausforderungen ab: vom Nachverfolgen von Variablenzuweisungen in Code bis hin zum Verfolgen der Bewegungen von Figuren und Objekten in einer Geschichte. Bei manchen Aufgaben muss lediglich die letzte Aktualisierung gefunden werden. Anspruchsvollere Aufgaben erfordern, frühere Änderungen fortzuführen, sodass schon ein einziger übersehener Schritt zu einer falschen Antwort führen kann.

Bei Tests mit offenen vortrainierten Modellen schnitten die meisten bei den einfachsten Aufgaben gut ab, verloren jedoch mit zunehmender Eingabelänge an Genauigkeit, wenn es um Probleme mit Neuzuweisungen ging. Bei den komplexesten Aufgaben lagen sie im Allgemeinen weiterhin auf Zufallsniveau. Die Ergebnisse hingen außerdem davon ab, wie eine Aufgabe präsentiert wurde: Einige Modelle, die bei einem Format stark abschnitten, lagen fast auf Zufallsniveau, wenn dieselbe zugrunde liegende Aufgabe als Bearbeitung einer Tabelle dargestellt wurde.

Die Forschenden testeten außerdem Gemini 3.8 Flash, Claude Opus 5.5 sowie GPT-6 Sol und Luna. Die Modelle bewältigten die beiden leichteren Stufen gut, doch bei Aufgaben, die kumulative oder referenzbasierte Aktualisierungen erforderten, sank ihre Genauigkeit stark. Bei den längsten allgemeinen Aufgaben mit endlichen Folgen erzielten alle vier höchstens 13 %.

Um zu untersuchen, ob diese Schwierigkeiten auf die Modellarchitektur oder das Vortraining zurückzuführen sind, trainierten die Forschenden StateBench-Modelle mit 275 Millionen Parametern von Grund auf. Die Modelle lernten anhand von Folgen mit bis zu 256 Zuweisungen und wurden mit Folgen von bis zu 64.000 Zuweisungen getestet.

Gated-DeltaNet- und Hybridmodelle generalisierten auf den ersten drei Stufen nahezu perfekt, auch bei Folgen, die deutlich länger waren als die im Training verwendeten. Transformer bauten bei längeren Folgen ab und lernten die schwierigste Stufe nicht. Eine Gated-DeltaNet-Variante mit einer flexibleren Speicheraktualisierung schnitt bei dieser Stufe am besten ab und blieb bei ungefähr der zehnfachen Länge der längsten Trainingsfolge nahezu perfekt.

Die Ergebnisse legen nahe, dass direktes Training hybriden und rekurrenten Modellen helfen kann, Fähigkeiten zur Zustandsverfolgung zu entwickeln, die in ihren vortrainierten Versionen fehlten. Transformer hingegen hätten selbst mit gezieltem Training die schwierigsten Aufgaben nicht gelernt, erklären die Forschenden.

StateBench geht derzeit von einer festen Anzahl an Variablen aus und deckt daher keine Situationen ab, in denen im Laufe der Zeit neue Personen oder Objekte hinzukommen. Die Forschenden benennen außerdem offene Fragen zu den Fähigkeiten verschiedener Gated-DeltaNet-Varianten und dazu, wie sich numerische Präzision oder Aufmerksamkeitsschichten auf sie auswirken könnten.

Quellen: Hugging Face Blog.