Un estudio sobre métodos de parada temprana para grandes modelos de razonamiento concluye que interrumpir el razonamiento generado puede reducir el uso de tokens, pero que el equilibrio entre precisión y fiabilidad varía según el modelo y la tarea. Los investigadores evaluaron los métodos en razonamiento matemático y científico, generación de código y factualidad, utilizando cinco modelos y un protocolo común de reproducción.
El artículo presenta la Eficiencia de Tokens Integrada en el Objetivo (Tite, por sus siglas en inglés), una medida que compara el uso de tokens de un método con el de un oráculo para distintos objetivos de precisión. En los experimentos descritos, el oráculo —que selecciona entre presupuestos de razonamiento discretos— alcanzó una precisión mayor que el razonamiento natural de longitud completa de los modelos en varias situaciones. Por ejemplo, en razonamiento matemático y científico, gpt-oss-20b obtuvo 0.894 con el oráculo, frente a 0.824 con razonamiento completo. En generación de código, R1-Qwen3-8B alcanzó 0.514 con el oráculo, frente a 0.382 con razonamiento completo; en los puntos de referencia de factualidad, el mismo modelo obtuvo 0.730 frente a 0.540.
Ese potencial no significa que las técnicas de parada actuales encuentren de manera fiable el mejor momento para terminar el razonamiento. El estudio informa que los métodos más agresivos, incluidos DTSR-1 y CoDE-Stop, solían utilizar menos tokens, pero sufrían pérdidas considerables de precisión. DEER, EntroCut y PUMA mostraron, en algunos casos, equilibrios más favorables entre precisión y eficiencia, pero ningún método obtuvo los mejores resultados de forma sistemática en todas las situaciones.
Los resultados también muestran por qué la precisión por sí sola puede inducir a error. En razonamiento matemático con gpt-oss-20b, Statistical Early Exit igualó la precisión del razonamiento completo, con 0.824, pero registró una puntuación TITE de 0.191. DEER y EntroCut tuvieron una precisión inferior, de 0.773, pero puntuaciones TITE más altas: 0.381 y 0.380. Los autores afirman que los métodos actuales todavía tienen dificultades para encontrar puntos de parada fiables y, al mismo tiempo, mantener bajo el coste de verificarlos.
Además, los investigadores comprobaron si las respuestas siguen siendo correctas a medida que continúa el razonamiento. Encontraron casos en los que la corrección disminuía en etapas posteriores más de lo que predecía su modelo de ruido de decodificación. Sus comprobaciones de fiabilidad también detectaron que el razonamiento continuaba después de una terminación forzada y que algunos resultados incluían un razonamiento de apoyo más débil cuando llegaban pronto a una respuesta correcta. Los hallazgos sugieren que, para evaluar la parada temprana, hay que considerar no solo el ahorro de tokens y la precisión de la respuesta final, sino también si el razonamiento que se conserva respalda la respuesta.
Fuentes: arXiv cs.AI.