StateBench è un nuovo benchmark progettato per misurare quanto bene i modelli linguistici tengano traccia delle informazioni su persone, oggetti o variabili man mano che cambiano nel corso di documenti lunghi. I suoi creatori valutano quattro livelli di difficoltà, dal recupero di un valore rimasto invariato al seguire catene di aggiornamenti in cui una variabile può assumere il valore corrente di un’altra.

Il benchmark riflette una serie di difficoltà pratiche, dal seguire le assegnazioni di variabili nel codice al tenere traccia degli spostamenti di personaggi e oggetti in una storia. Alcuni compiti richiedono solo di trovare l’aggiornamento più recente. Quelli più impegnativi richiedono di riportare in avanti le modifiche precedenti, perciò saltare un solo passaggio può portare a una risposta finale errata.

Nei test sui modelli open preaddestrati, la maggior parte ha ottenuto buoni risultati nei compiti più semplici, ma ha perso accuratezza all’aumentare della lunghezza degli input nei problemi che implicavano riassegnazioni. In generale, nei compiti più complessi è rimasta al livello del caso. I risultati dipendevano anche da come veniva presentato un problema: alcuni modelli che avevano ottenuto risultati elevati in un formato si sono avvicinati al livello del caso quando lo stesso compito di fondo veniva presentato come una modifica a un foglio di calcolo.

I ricercatori hanno inoltre testato Gemini 3.8 Flash, Claude Opus 5.5 e GPT-6 Sol e Luna. I modelli hanno gestito bene i due livelli più facili, ma l’accuratezza è calata nettamente nei compiti che richiedevano aggiornamenti cumulativi o basati su riferimenti. Nei compiti finiti generali più lunghi, tutti e quattro hanno ottenuto il 13% o meno.

Per verificare se queste difficoltà derivassero dall’architettura dei modelli o dal preaddestramento, i ricercatori hanno addestrato da zero su StateBench modelli da 275 milioni di parametri. I modelli hanno appreso da sequenze di un massimo di 256 assegnazioni e sono stati testati su sequenze fino a 64.000 assegnazioni.

Gated DeltaNet e i modelli ibridi hanno generalizzato quasi perfettamente nei primi tre livelli, anche su sequenze molto più lunghe di quelle usate durante l’addestramento. I transformer hanno perso prestazioni sulle sequenze più lunghe e non hanno appreso il livello più difficile. Una variante di Gated DeltaNet con un aggiornamento della memoria più flessibile ha ottenuto i risultati migliori a quel livello, mantenendosi vicina alla perfezione su sequenze circa dieci volte più lunghe della più lunga sequenza di addestramento.

I risultati suggeriscono che l’addestramento diretto può aiutare i modelli ibridi e ricorrenti a sviluppare capacità di tracciamento dello stato che mancavano nelle loro versioni preaddestrate. I ricercatori affermano invece che i transformer non hanno appreso i compiti più difficili neanche con un addestramento mirato.

Attualmente StateBench presuppone un numero fisso di variabili, quindi non copre gli scenari in cui nuove persone o nuovi oggetti compaiono nel tempo. I ricercatori indicano inoltre questioni aperte sulle capacità delle diverse varianti di Gated DeltaNet e su come possano influire la precisione numerica o gli strati di attenzione.

Fonti: Hugging Face Blog.