Un estudio de los investigadores de Stanford Owen Queen y James Zou sugiere que los hallazgos de investigación sobre los modelos de lenguaje grandes pueden quedar obsoletos rápidamente. Los dos investigadores pusieron a prueba 50 afirmaciones ampliamente citadas frente a 20 modelos publicados entre julio de 2024 y septiembre de 2026 por ocho desarrolladores.
El efecto original había desaparecido en gran medida en el 44 % de las afirmaciones, mientras que otro 34 % se había debilitado considerablemente. Solo el 16 % seguía siendo válido y el 6 % se había fortalecido. De los 22 hallazgos para los que los investigadores estimaron una fecha de caducidad, la duración media fue de 15,7 meses. La proporción considerada caducada pasó del 16 % al cabo de un año al 39 % al cabo de dos años.
Las afirmaciones sobre lo que los modelos no pueden hacer fueron las que perdieron respaldo más rápidamente. Se consideró que cinco de los nueve hallazgos relacionados con el razonamiento habían caducado, y ninguno se mantuvo ni se fortaleció. Entre ellos figuraban dificultades para contar letras en «strawberry», hacer operaciones aritméticas en sistemas numéricos desconocidos, retener información situada en medio de contextos extensos y mantener respuestas correctas cuando los usuarios las cuestionaban. Los investigadores sugieren que estos errores podrían ser más fáciles de corregir porque tienen respuestas correctas claras que los desarrolladores pueden entrenar a los modelos para que produzcan.
Las afirmaciones sobre preferencias y tendencias demostraron ser más duraderas. De los 11 hallazgos que se mantuvieron o se fortalecieron, varios se referían a modelos que actuaban como evaluadores: preferían sus propias respuestas, calificaban de forma similar los artículos aceptados y rechazados y se dejaban influir por el lenguaje persuasivo en resúmenes médicos. Otros hallazgos persistentes tenían que ver con estar de acuerdo con los usuarios, un sesgo político de tendencia izquierdista, respuestas similares a preguntas abiertas y distribuciones desiguales al generar números aleatorios.
Los investigadores también volvieron a examinar un estudio de 2023 sobre citas científicas inventadas, en el que GPT-3.5 inventó el 55 % de sus referencias. Al usar las mismas instrucciones, encontraron una tasa del 0 % para GPT-6.1 Sol y del 1 % para Claude Sonnet 5.5. Sin embargo, Qwen3.7-Flash inventó el 69 % de sus referencias en la prueba, lo que demuestra que los resultados pueden variar mucho de un modelo a otro.
Algunas debilidades han disminuido, pero aún pueden detectarse. Claude Sonnet 5.5 todavía falló en alrededor del 10 % de las preguntas de dos pasos cuando respondió correctamente por separado las dos preguntas que las componían; el artículo original informó de una tasa de fallos del 43 % para ChatGPT. La «maldición de la inversión» y las respuestas contradictorias a pares de preguntas sobre el tiempo también se han debilitado, pero no han desaparecido. Los hallazgos sobre sesgos sociales fueron dispares: los estereotipos de género y los sesgos de asociación implícita se debilitaron, mientras que el sesgo político persistió y los sesgos contra hablantes del inglés afroamericano cambiaron de dirección en los datos de tendencias.
Las diferencias entre modelos fueron sustanciales incluso entre lanzamientos del mismo periodo. Entre los modelos lanzados entre julio y septiembre de 2026, el número de hallazgos caducados osciló entre 11 para DeepSeek V4 Pro y 30 para GPT-6.1 Sol. Los investigadores descubrieron que la fecha de lanzamiento, el desarrollador y el tamaño del modelo no permitían predecir los resultados de manera fiable.
Queen y Zou sostienen que las afirmaciones empíricas sobre los LLM deberían presentarse como observaciones sobre modelos concretos en un momento determinado, en lugar de como verdades universales. Recomiendan que los investigadores registren el modelo, la versión y la fecha utilizados, y publiquen las instrucciones y el código de análisis para que los hallazgos puedan volver a ponerse a prueba a medida que cambian los modelos.
Fuentes: The Decoder.