Uno studio dei ricercatori di Stanford Owen Queen e James Zou suggerisce che i risultati della ricerca sui modelli linguistici di grandi dimensioni possono diventare rapidamente obsoleti. I due hanno verificato 50 affermazioni ampiamente citate su 20 modelli pubblicati tra luglio 2024 e settembre 2026 da otto sviluppatori.

L’effetto originario era in gran parte scomparso per il 44% delle affermazioni, mentre un altro 34% si era indebolito in modo significativo. Solo il 16% continuava a essere valido e il 6% si era rafforzato. Tra i 22 risultati per i quali i ricercatori hanno stimato una data di scadenza, la durata media era di 15,7 mesi. La quota considerata superata è salita dal 16% dopo un anno al 39% dopo due anni.

Le affermazioni su ciò che i modelli non sono in grado di fare sono state le prime a perdere validità. Cinque dei nove risultati relativi al ragionamento sono stati giudicati superati e nessuno aveva retto o si era rafforzato. Tra questi figuravano le difficoltà nel contare le lettere di “strawberry”, eseguire calcoli in sistemi numerici non familiari, conservare informazioni collocate al centro di contesti lunghi e mantenere risposte corrette quando gli utenti le contestavano. I ricercatori ipotizzano che questi errori possano essere più facili da correggere perché hanno risposte chiaramente corrette che gli sviluppatori possono addestrare i modelli a fornire.

Le affermazioni sulle preferenze e sulle tendenze si sono rivelate più durature. Tra gli 11 risultati che hanno retto o si sono rafforzati, diversi riguardavano modelli che agiscono da valutatori: preferire le proprie risposte, assegnare valutazioni simili agli articoli accettati e respinti e lasciarsi influenzare da un linguaggio persuasivo negli abstract medici. Altri risultati persistenti riguardavano la tendenza ad assecondare gli utenti, una propensione politica verso sinistra, risposte simili a domande aperte e distribuzioni non uniformi nella generazione di numeri casuali.

I ricercatori hanno anche riesaminato uno studio del 2023 sulle citazioni scientifiche inventate, secondo il quale GPT-3.5 aveva inventato il 55% dei riferimenti bibliografici. Utilizzando gli stessi prompt, hanno riscontrato un tasso dello 0% per GPT-6.1 Sol e dell’1% per Claude Sonnet 5.5. Qwen3.7-Flash, tuttavia, ha inventato il 69% dei riferimenti bibliografici nel test, dimostrando che i risultati possono differire nettamente da un modello all’altro.

Alcune debolezze si sono ridotte, ma restano rilevabili. Claude Sonnet 5.5 ha ancora fallito circa il 10% delle domande a due passaggi, pur rispondendo correttamente a entrambe le domande che le componevano se poste separatamente; lo studio originale riportava un tasso di fallimento del 43% per ChatGPT. Anche la “Reversal Curse” e le risposte contraddittorie a coppie di domande sul tempo si sono attenuate, ma non sono scomparse. I risultati sui pregiudizi sociali erano contrastanti: gli stereotipi di genere e i pregiudizi basati sulle associazioni implicite si sono indeboliti, mentre la propensione politica è persistita e i pregiudizi nei confronti di chi parla l’inglese afroamericano hanno cambiato direzione nei dati relativi alla tendenza.

Le differenze tra i modelli erano considerevoli anche tra quelli usciti nello stesso periodo. Per i modelli lanciati tra luglio e settembre 2026, il numero di risultati superati variava dagli 11 di DeepSeek V4 Pro ai 30 di GPT-6.1 Sol. I ricercatori hanno constatato che la data di pubblicazione, lo sviluppatore e le dimensioni del modello non permettevano di prevedere i risultati in modo affidabile.

Queen e Zou sostengono che le affermazioni empiriche sugli LLM dovrebbero essere formulate come osservazioni riferite a modelli specifici in un determinato momento, anziché come verità universali. Raccomandano ai ricercatori di indicare il modello, la versione e la data utilizzati e di pubblicare i prompt e il codice di analisi, così che i risultati possano essere verificati di nuovo man mano che i modelli cambiano.

Fonti: The Decoder.