StateBench es un nuevo benchmark diseñado para medir qué tan bien siguen los modelos de lenguaje la información sobre personas, objetos o variables cuando esta cambia a lo largo de documentos extensos. Sus creadores evalúan cuatro niveles de dificultad, desde recuperar un valor que no ha cambiado hasta seguir cadenas de actualizaciones en las que una variable puede adoptar el valor actual de otra.

El benchmark refleja diversos desafíos prácticos, desde seguir asignaciones de variables en código hasta rastrear los desplazamientos de personajes y objetos en una historia. Algunas tareas solo requieren encontrar la actualización más reciente. Otras, más exigentes, requieren arrastrar los cambios anteriores, por lo que omitir un solo paso puede llevar a una respuesta final incorrecta.

En las pruebas con modelos abiertos preentrenados, la mayoría obtuvo buenos resultados en las tareas más sencillas, pero perdió precisión a medida que aumentaba la longitud de las entradas en problemas que implicaban reasignaciones. En general, su rendimiento se mantuvo en el nivel del azar en las tareas más complejas. Los resultados también dependían de cómo se presentara un problema: algunos modelos que rendían bien en un formato quedaban cerca del nivel del azar cuando la misma tarea subyacente se planteaba como ediciones de una hoja de cálculo.

Los investigadores también probaron Gemini 3.8 Flash, Claude Opus 5.5 y GPT-6 Sol y Luna. Los modelos resolvieron bien los dos niveles más fáciles, pero su precisión cayó drásticamente en tareas que exigían actualizaciones acumulativas o basadas en referencias. En las tareas generales finitas más largas, los cuatro obtuvieron una puntuación del 13 % o menos.

Para examinar si estas dificultades se debían a la arquitectura de los modelos o al preentrenamiento, los investigadores entrenaron desde cero modelos de 275 millones de parámetros con StateBench. Los modelos aprendieron a partir de secuencias de hasta 256 asignaciones y se probaron con secuencias de hasta 64.000 asignaciones.

Gated DeltaNet y los modelos híbridos generalizaron casi a la perfección en los tres primeros niveles, incluso con secuencias mucho más largas que las utilizadas durante el entrenamiento. Los transformers se deterioraron con secuencias más largas y no aprendieron el nivel más difícil. Una variante de Gated DeltaNet con una actualización de memoria más flexible fue la que mejor rindió en ese nivel y se mantuvo cerca de la perfección con secuencias aproximadamente diez veces más largas que la secuencia de entrenamiento más extensa.

Los resultados sugieren que el entrenamiento directo puede ayudar a los modelos híbridos y recurrentes a desarrollar capacidades de seguimiento de estados que estaban ausentes en sus versiones preentrenadas. Según los investigadores, en cambio, los transformers no aprendieron las tareas más difíciles ni siquiera con entrenamiento específico.

Actualmente, StateBench presupone un número fijo de variables, por lo que no abarca situaciones en las que aparecen nuevas personas u objetos con el tiempo. Los investigadores también señalan preguntas abiertas sobre las capacidades de las distintas variantes de Gated DeltaNet y sobre cómo podrían afectarlas la precisión numérica o las capas de atención.

Fuentes: Hugging Face Blog.