Los investigadores han presentado ThinkJev, un enfoque novedoso diseñado para optimizar cómo los modelos de lenguaje manejan las decisiones tipificadas, que son elecciones entre un conjunto cerrado de opciones sobre las cuales el código puede actuar. Si bien leer probabilidades en una sola pasada directa es rápido, a menudo falla en problemas de múltiples pasos como aritmética, conteo o comparación de fechas. Por el contrario, permitir que el modelo piense antes de responder corrige la mayoría de los errores, pero aumenta el tiempo de procesamiento de milisegundos a segundos. ThinkJev aborda esta compensación construyendo una arquitectura de doble sistema a partir de un único modelo híbrido de pensamiento abierto que puede responder ya sea directamente o después de razonar.
El marco utiliza dos sistemas distintos derivados de un solo modelo y un único prompt en caché. El Sistema 1 proporciona una respuesta rápida leyendo las probabilidades del modelo para las letras de opción inmediatamente, sin generar tokens de pensamiento. El Sistema 2 se involucra en un razonamiento más profundo, leyendo las mismas letras de opción solo después de que el modelo ha generado un proceso de pensamiento. Dado que ambos sistemas leen de los mismos espacios de respuesta en el mismo prompt, escalar del Sistema 1 al Sistema 2 no requiere reprocesar la entrada ni ejecutar un segundo modelo. Además, porque la respuesta puede leerse después de cualquier número de tokens de pensamiento, un único pensamiento muestreado proporciona respuestas calibradas para cada presupuesto de pensamiento posible.
ThinkJev opera sin entrenamiento utilizando una prueba estadística sobre datos de desarrollo etiquetados para determinar cuándo el Sistema 1 es lo suficientemente confiable para responder solo. Con una tasa de error objetivo del 5%, el modelo Qwen3.5-27B respondió correctamente al 24,5% de las 8.359 decisiones de prueba utilizando solo el Sistema 1, logrando una tasa de error realizada del 3,9%. Para las decisiones restantes que requieren un pensamiento más profundo, el sistema detiene el razonamiento tan pronto como la respuesta alcanza un umbral de confianza. Este enfoque adaptativo alcanzó una precisión del 81,6% mientras utilizaba solo el 72% de los tokens de pensamiento requeridos por los modelos que siempre piensan, en comparación con una precisión del 82,7% para el pensamiento constante.
El estudio destaca que depender únicamente de la confianza del Sistema 1 para decidir cuándo pensar es menos efectivo, ya que las decisiones donde el Sistema 1 tiene menos confianza no son siempre las que el razonamiento corrige. En JevBench, un punto de referencia independiente para servicios de decisiones tipificadas, Qwen3.5-27B utilizando ThinkJev pensó solo en el 29,4% de los elementos públicos y logró una precisión indistinguible de dos principales APIs comerciales de pensamiento. Los investigadores han puesto el código y los generadores de datos disponibles públicamente para apoyar la exploración adicional de este método en cascada libre de entrenamiento.
Fuentes: arXiv cs.AI.