Um estudo dos pesquisadores de Stanford Owen Queen e James Zou sugere que resultados de pesquisas sobre grandes modelos de linguagem podem ficar desatualizados rapidamente. A dupla testou 50 afirmações amplamente citadas em 20 modelos lançados entre julho de 2024 e setembro de 2026 por oito desenvolvedores.

O efeito original havia praticamente desaparecido em 44% das afirmações, enquanto outros 34% haviam enfraquecido significativamente. Apenas 16% continuavam válidas, e 6% haviam se fortalecido. Entre 22 resultados para os quais os pesquisadores estimaram uma data de expiração, a vida útil média foi de 15,7 meses. A proporção considerada expirada aumentou de 16% após um ano para 39% após dois anos.

As afirmações sobre o que os modelos não conseguem fazer foram as que perderam sustentação mais rapidamente. Cinco dos nove resultados relacionados ao raciocínio foram considerados expirados, e nenhum se manteve ou se fortaleceu. Entre eles estavam dificuldades para contar as letras de “strawberry”, fazer cálculos aritméticos em sistemas numéricos desconhecidos, reter informações do meio de contextos longos e manter respostas corretas quando os usuários as contestavam. Os pesquisadores sugerem que esses erros podem ser mais fáceis de corrigir porque têm respostas claramente certas, que os desenvolvedores podem treinar os modelos para produzir.

As afirmações sobre preferências e tendências se mostraram mais duradouras. Entre os 11 resultados que se mantiveram ou se fortaleceram, vários diziam respeito a modelos atuando como avaliadores: preferindo as próprias respostas, atribuindo avaliações semelhantes a artigos aceitos e rejeitados e sendo influenciados por linguagem persuasiva em resumos médicos. Outros resultados persistentes envolviam concordar com os usuários, um viés político à esquerda, respostas semelhantes a perguntas abertas e distribuições desiguais ao gerar números aleatórios.

Os pesquisadores também revisitaram um estudo de 2023 sobre referências científicas inventadas, no qual o GPT-3.5 inventou 55% de suas referências. Usando as mesmas instruções, encontraram uma taxa de 0% para o GPT-6.1 Sol e de 1% para o Claude Sonnet 5.5. No entanto, o Qwen3.7-Flash inventou 69% de suas referências no teste, mostrando que os resultados podem variar bastante entre modelos.

Algumas fragilidades diminuíram, mas continuam detectáveis. O Claude Sonnet 5.5 ainda falhou em cerca de 10% das perguntas de dois passos quando respondeu corretamente, separadamente, às duas perguntas que as compunham; o artigo original relatou uma taxa de falha de 43% para o ChatGPT. A “Reversal Curse” e as respostas contraditórias a pares de perguntas sobre o tempo também enfraqueceram, mas não desapareceram. Os resultados sobre viés social foram variados: os estereótipos de gênero e os vieses de associação implícita diminuíram, enquanto o viés político persistiu e os vieses contra falantes do inglês afro-americano mudaram de direção nos dados de tendência.

As diferenças entre os modelos foram substanciais, mesmo entre lançamentos do mesmo período. Para modelos lançados entre julho e setembro de 2026, o número de resultados expirados variou de 11 para o DeepSeek V4 Pro a 30 para o GPT-6.1 Sol. Os pesquisadores constataram que a data de lançamento, o desenvolvedor e o tamanho do modelo não permitiam prever os resultados de forma confiável.

Queen e Zou argumentam que afirmações empíricas sobre LLMs devem ser apresentadas como observações sobre modelos específicos em um momento específico, e não como verdades universais. Eles recomendam que os pesquisadores registrem o modelo, a versão e a data utilizados e publiquem as instruções e o código de análise, para que os resultados possam ser testados novamente à medida que os modelos mudam.

Fontes: The Decoder.