Des chercheurs ont présenté ThinkJev, une approche novatrice conçue pour optimiser la manière dont les modèles de langage gèrent les décisions typées, c'est-à-dire des choix parmi un ensemble fermé d'options sur lesquelles le code peut agir. Bien que la lecture des probabilités lors d'un seul passage avant soit rapide, elle échoue souvent sur des problèmes à plusieurs étapes comme l'arithmétique, le comptage ou la comparaison de dates. À l'inverse, permettre au modèle de réfléchir avant de répondre corrige la plupart des erreurs mais augmente le temps de traitement de quelques millisecondes à quelques secondes. ThinkJev résout ce compromis en construisant une architecture à double système à partir d'un seul modèle hybride ouvert capable de répondre soit directement, soit après réflexion.
Le cadre utilise deux systèmes distincts dérivés d'un seul modèle et d'une seule invite mise en cache. Le Système 1 fournit une réponse rapide en lisant immédiatement les probabilités du modèle pour les lettres des options, sans générer de jetons de pensée. Le Système 2 engage un raisonnement plus profond, lisant les mêmes lettres d'options uniquement après que le modèle a généré un processus de réflexion. Comme les deux systèmes lisent depuis les mêmes emplacements de réponse sur la même invite, l'escalade du Système 1 au Système 2 ne nécessite pas de retraiter l'entrée ni d'exécuter un second modèle. De plus, comme la réponse peut être lue après n'importe quel nombre de jetons de pensée, une seule pensée échantillonnée fournit des réponses calibrées pour chaque budget de réflexion possible.
ThinkJev fonctionne sans entraînement en utilisant un test statistique sur des données de développement étiquetées pour déterminer quand le Système 1 est suffisamment fiable pour répondre seul. Avec un taux d'erreur cible de 5 %, le modèle Qwen3.5-27B a répondu avec succès à 24,5 % des 8 359 décisions de test en utilisant uniquement le Système 1, atteignant un taux d'erreur réalisé de 3,9 %. Pour les décisions restantes nécessitant une réflexion plus approfondie, le système arrête la raison dès que la réponse atteint un seuil de confiance. Cette approche adaptative a atteint une précision de 81,6 % tout en utilisant seulement 72 % des jetons de pensée requis par les modèles qui réfléchissent toujours, comparé à une précision de 82,7 % pour une réflexion constante.
L'étude souligne que se fier uniquement à la confiance du Système 1 pour décider quand réfléchir est moins efficace, car les décisions où le Système 1 est le moins confiant ne sont pas toujours celles que le raisonnement corrige. Sur JevBench, un benchmark indépendant pour les services de décision typée, Qwen3.5-27B utilisant ThinkJev a réfléchi sur seulement 29,4 % des éléments publics et a atteint une précision indistinguable de celle de deux API commerciales de réflexion leaders. Les chercheurs ont mis le code et les générateurs de données à disposition du public pour soutenir l'exploration supplémentaire de cette méthode en cascade sans entraînement.
Sources: arXiv cs.AI.