Une étude menée par les chercheurs de Stanford Owen Queen et James Zou suggère que les résultats de recherche sur les grands modèles de langage peuvent rapidement devenir obsolètes. Les deux chercheurs ont testé 50 affirmations largement citées sur 20 modèles lancés entre juillet 2024 et septembre 2026 par huit développeurs.

L’effet initial avait largement disparu pour 44 % des affirmations, tandis qu’il s’était considérablement affaibli pour 34 % supplémentaires. Seules 16 % restaient valables, et 6 % s’étaient renforcées. Parmi les 22 résultats pour lesquels les chercheurs ont estimé une date d’expiration, la durée de validité moyenne était de 15,7 mois. La proportion jugée caduque est passée de 16 % après un an à 39 % après deux ans.

Les affirmations portant sur ce que les modèles ne peuvent pas faire ont été les premières à perdre leur validité. Cinq des neuf résultats liés au raisonnement ont été jugés caducs, et aucun ne s’est maintenu ni renforcé. Ils concernaient notamment les difficultés à compter les lettres dans « strawberry », à effectuer des opérations arithmétiques dans des systèmes de numération inconnus, à retenir des informations situées au milieu de longs contextes et à maintenir des réponses exactes lorsque les utilisateurs les contestaient. Les chercheurs avancent que ces erreurs sont peut-être plus faciles à corriger, car elles ont des réponses clairement justes que les développeurs peuvent entraîner les modèles à produire.

Les affirmations concernant les préférences et les tendances se sont révélées plus durables. Parmi les 11 résultats qui se sont maintenus ou renforcés, plusieurs portaient sur des modèles agissant en tant qu’évaluateurs : ils préféraient leurs propres réponses, attribuaient des notes similaires aux articles acceptés et rejetés, et se laissaient influencer par des formulations persuasives dans les résumés médicaux. D’autres résultats persistants concernaient leur tendance à être d’accord avec les utilisateurs, un biais politique orienté à gauche, des réponses similaires aux questions ouvertes et des distributions inégales lors de la génération de nombres aléatoires.

Les chercheurs ont également réexaminé une étude de 2023 sur les références scientifiques inventées, dans laquelle GPT-3.5 avait fabriqué 55 % de ses références. En utilisant les mêmes prompts, ils ont obtenu un taux de 0 % pour GPT-6.1 Sol et de 1 % pour Claude Sonnet 5.5. Toutefois, Qwen3.7-Flash a fabriqué 69 % de ses références lors du test, ce qui montre que les résultats peuvent varier considérablement d’un modèle à l’autre.

Certaines faiblesses ont diminué, mais restent détectables. Claude Sonnet 5.5 échouait encore à environ 10 % des questions à deux étapes lorsqu’il répondait correctement, séparément, aux deux questions qui les composent ; l’article initial faisait état d’un taux d’échec de 43 % pour ChatGPT. Le « Reversal Curse » et les réponses contradictoires à des paires de questions sur le temps se sont également atténués, sans toutefois disparaître. Les résultats concernant les biais sociaux étaient contrastés : les stéréotypes de genre et les biais d’association implicite se sont affaiblis, tandis que le biais politique a persisté et que les biais à l’encontre des locuteurs de l’anglais afro-américain ont changé de direction dans les données de tendance.

Les différences entre les modèles étaient importantes, même parmi ceux lancés au cours de la même période. Pour les modèles lancés entre juillet et septembre 2026, le nombre de résultats caducs allait de 11 pour DeepSeek V4 Pro à 30 pour GPT-6.1 Sol. Les chercheurs ont constaté que la date de lancement, le développeur et la taille du modèle ne permettaient pas de prédire les résultats de manière fiable.

Queen et Zou soutiennent que les affirmations empiriques sur les LLM devraient être formulées comme des observations concernant des modèles particuliers à un moment donné, plutôt que comme des vérités universelles. Ils recommandent aux chercheurs de consigner le modèle, sa version et la date d’utilisation, et de publier les prompts et le code d’analyse afin que les résultats puissent être vérifiés à nouveau à mesure que les modèles évoluent.

Sources: The Decoder.