StateBench é um novo benchmark criado para medir quão bem os modelos de linguagem acompanham informações sobre pessoas, objetos ou variáveis à medida que elas mudam ao longo de documentos extensos. Seus criadores avaliam quatro níveis de dificuldade, desde recuperar um valor que não mudou até acompanhar cadeias de atualizações nas quais uma variável pode assumir o valor atual de outra.

O benchmark reflete uma série de desafios práticos, desde acompanhar atribuições de variáveis em código até rastrear o deslocamento de personagens e objetos em uma história. Algumas tarefas exigem apenas encontrar a atualização mais recente. As mais exigentes requerem levar adiante mudanças anteriores, de modo que perder uma única etapa pode resultar em uma resposta final incorreta.

Nos testes com modelos abertos pré-treinados, a maioria teve bom desempenho nas tarefas mais simples, mas perdeu precisão à medida que as entradas ficavam mais longas em problemas que envolviam reatribuições. Em geral, mantiveram um desempenho próximo ao acaso nas tarefas mais complexas. Os resultados também dependeram da forma como o problema era apresentado: alguns modelos que tiveram bom desempenho em um formato ficaram perto do acaso quando a mesma tarefa subjacente foi apresentada como edições em uma planilha.

Os pesquisadores também testaram Gemini 3.8 Flash, Claude Opus 5.5 e GPT-6 Sol e Luna. Os modelos lidaram bem com os dois níveis mais fáceis, mas a precisão caiu acentuadamente nas tarefas que exigiam atualizações cumulativas ou baseadas em referências. Nas tarefas gerais finitas mais longas, os quatro modelos obtiveram pontuação de 13% ou menos.

Para investigar se essas dificuldades decorrem da arquitetura dos modelos ou do pré-treinamento, os pesquisadores treinaram do zero modelos com 275 milhões de parâmetros usando o StateBench. Os modelos aprenderam com sequências de até 256 atribuições e foram testados em sequências de até 64.000 atribuições.

Os modelos Gated DeltaNet e híbridos generalizaram quase perfeitamente nos três primeiros níveis, inclusive em sequências muito mais longas do que as usadas no treinamento. O desempenho dos transformers caiu em sequências mais longas, e eles não aprenderam o nível mais difícil. Uma variante do Gated DeltaNet com uma atualização de memória mais flexível teve o melhor desempenho nesse nível, mantendo resultados quase perfeitos em sequências aproximadamente dez vezes mais longas do que a maior sequência de treinamento.

Os resultados sugerem que o treinamento direto pode ajudar modelos híbridos e recorrentes a desenvolver habilidades de acompanhamento de estados que não estavam presentes em suas versões pré-treinadas. Os pesquisadores afirmam que, em contraste, os transformers não aprenderam as tarefas mais difíceis nem mesmo com treinamento direcionado.

Atualmente, o StateBench pressupõe um número fixo de variáveis e, portanto, não abrange cenários em que novas pessoas ou objetos surgem ao longo do tempo. Os pesquisadores também apontam questões em aberto sobre as capacidades das diferentes variantes do Gated DeltaNet e sobre como a precisão numérica ou as camadas de atenção podem afetá-las.

Fontes: Hugging Face Blog.