Eine Studie der Stanford-Forschenden Owen Queen und James Zou legt nahe, dass Forschungsergebnisse zu großen Sprachmodellen schnell veralten können. Die beiden prüften 50 häufig zitierte Aussagen anhand von 20 Modellen, die zwischen Juli 2024 und September 2026 von acht Entwicklern veröffentlicht wurden.

Bei 44 % der Aussagen war der ursprüngliche Effekt weitgehend verschwunden, während sich weitere 34 % deutlich abgeschwächt hatten. Nur 16 % galten weiterhin, und 6 % hatten sich verstärkt. Bei 22 Ergebnissen schätzten die Forschenden ein Ablaufdatum: Die durchschnittliche Gültigkeitsdauer betrug 15,7 Monate. Der Anteil der als überholt betrachteten Ergebnisse stieg von 16 % nach einem Jahr auf 39 % nach zwei Jahren.

Aussagen darüber, was Modelle nicht können, verloren am schnellsten ihre empirische Grundlage. Fünf von neun Ergebnissen zum Thema Schlussfolgern wurden als überholt eingestuft; keines davon hatte Bestand oder sich verstärkt. Dazu gehörten Schwierigkeiten, die Buchstaben im Wort „strawberry“ zu zählen, in unbekannten Zahlensystemen zu rechnen, Informationen aus der Mitte langer Kontexte zu behalten und richtige Antworten beizubehalten, wenn Nutzer sie infrage stellten. Die Forschenden vermuten, dass sich diese Fehler leichter beheben lassen, weil es klare richtige Antworten gibt, auf deren Ausgabe Entwickler die Modelle trainieren können.

Aussagen zu Präferenzen und Tendenzen erwiesen sich als beständiger. Von den 11 Ergebnissen, die Bestand hatten oder sich verstärkten, betrafen mehrere Modelle als Gutachter: Sie bevorzugten ihre eigenen Antworten, bewerteten angenommene und abgelehnte Arbeiten ähnlich und ließen sich von überzeugender Sprache in medizinischen Abstracts beeinflussen. Weitere fortbestehende Ergebnisse betrafen die Zustimmung zu Nutzern, eine linksgerichtete politische Tendenz, ähnliche Antworten auf offene Fragen und ungleichmäßige Verteilungen bei der Erzeugung von Zufallszahlen.

Die Forschenden überprüften auch eine Studie aus dem Jahr 2023 zu erfundenen wissenschaftlichen Quellenangaben, in der GPT-3.5 55 % seiner Literaturverweise erfunden hatte. Mit denselben Prompts ermittelten sie eine Quote von 0 % für GPT-6.1 Sol und 1 % für Claude Sonnet 5.5. Qwen3.7-Flash erfand im Test jedoch 69 % seiner Quellenangaben. Das zeigt, dass sich die Ergebnisse zwischen Modellen stark unterscheiden können.

Einige Schwächen sind zwar seltener geworden, lassen sich aber weiterhin nachweisen. Claude Sonnet 5.5 scheiterte noch bei etwa 10 % der Zwei-Schritt-Fragen, obwohl es beide Teilfragen einzeln richtig beantwortete; in der ursprünglichen Arbeit wurde für ChatGPT eine Fehlerquote von 43 % angegeben. Auch der „Reversal Curse“ und widersprüchliche Antworten auf zusammengehörige Fragen zum Thema Zeit haben sich abgeschwächt, sind aber nicht verschwunden. Bei den Ergebnissen zu sozialen Verzerrungen zeigte sich ein gemischtes Bild: Geschlechterstereotype und implizite Assoziationsverzerrungen schwächten sich ab, während die politische Tendenz bestehen blieb und sich die Verzerrungen gegenüber Sprechern des African American English in den Trenddaten in die entgegengesetzte Richtung entwickelten.

Selbst bei Modellen, die im selben Zeitraum veröffentlicht wurden, gab es erhebliche Unterschiede. Bei den zwischen Juli und September 2026 eingeführten Modellen reichte die Zahl der überholten Ergebnisse von 11 bei DeepSeek V4 Pro bis zu 30 bei GPT-6.1 Sol. Die Forschenden stellten fest, dass Veröffentlichungsdatum, Entwickler und Modellgröße die Ergebnisse nicht zuverlässig vorhersagten.

Queen und Zou argumentieren, empirische Aussagen über LLMs sollten als Beobachtungen zu bestimmten Modellen zu einem bestimmten Zeitpunkt formuliert werden und nicht als allgemeingültige Wahrheiten. Sie empfehlen Forschenden, das verwendete Modell, seine Version und das Datum festzuhalten sowie Prompts und Analysecode zu veröffentlichen, damit sich die Ergebnisse erneut prüfen lassen, wenn sich die Modelle verändern.

Quellen: The Decoder.