I ricercatori hanno introdotto ThinkJev, un approccio innovativo progettato per ottimizzare il modo in cui i modelli linguistici gestiscono le decisioni tipizzate, ovvero scelte tra un insieme chiuso di opzioni su cui il codice può agire. Sebbene la lettura delle probabilità da un singolo passaggio in avanti sia rapida, spesso fallisce su problemi a più passaggi come l'aritmetica, il conteggio o il confronto delle date. Al contrario, consentire al modello di ragionare prima di rispondere corregge la maggior parte degli errori ma aumenta i tempi di elaborazione da millisecondi a secondi. ThinkJev affronta questo compromesso costruendo un'architettura a doppio sistema partendo da un singolo modello ibrido di pensiero aperto che può rispondere sia direttamente sia dopo aver ragionato.
Il framework utilizza due sistemi distinti derivati da un unico modello e da un prompt memorizzato nella cache. Il Sistema 1 fornisce una risposta rapida leggendo immediatamente le probabilità del modello per le lettere delle opzioni, senza generare token di pensiero. Il Sistema 2 si impegna in un ragionamento più profondo, leggendo le stesse lettere delle opzioni solo dopo che il modello ha generato un processo di pensiero. Poiché entrambi i sistemi leggono dagli stessi slot di risposta sullo stesso prompt, l'escalation dal Sistema 1 al Sistema 2 non richiede di rielaborare l'input o di eseguire un secondo modello. Inoltre, poiché la risposta può essere letta dopo qualsiasi numero di token di pensiero, un singolo pensiero campionato fornisce risposte calibrate per ogni possibile budget di pensiero.
ThinkJev opera senza addestramento utilizzando un test statistico su dati di sviluppo etichettati per determinare quando il Sistema 1 è abbastanza affidabile da rispondere da solo. Con un tasso di errore target del 5%, il modello Qwen3.5-27B ha risposto con successo al 24,5% delle 8.359 decisioni di test utilizzando solo il Sistema 1, ottenendo un tasso di errore realizzato del 3,9%. Per le decisioni rimanenti che richiedono un pensiero più profondo, il sistema interrompe il ragionamento non appena la risposta raggiunge una soglia di fiducia. Questo approccio adattivo ha raggiunto un'accuratezza dell'81,6% utilizzando solo il 72% dei token di pensiero richiesti dai modelli che ragionano sempre, rispetto all'accuratezza dell'82,7% per il pensiero costante.
Lo studio evidenzia che fare affidamento esclusivamente sulla fiducia del Sistema 1 per decidere quando ragionare è meno efficace, poiché le decisioni in cui il Sistema 1 è meno fiducioso non sono sempre quelle che il ragionamento risolve. Su JevBench, un benchmark indipendente per i servizi di decisione tipizzata, Qwen3.5-27B utilizzando ThinkJev ha ragionato solo sul 29,4% degli elementi pubblici e ha ottenuto un'accuratezza indistinguibile da due principali API commerciali di pensiero. I ricercatori hanno reso disponibili pubblicamente il codice e i generatori di dati per supportare ulteriori esplorazioni di questo metodo a cascata senza addestramento.
Fonti: arXiv cs.AI.