Uno studio rileva che i metodi di interruzione anticipata possono far risparmiare token, ma comportano il rischio di ragionamenti meno affidabili

Uno studio sui metodi di interruzione anticipata per i grandi modelli di ragionamento rileva che troncare il ragionamento generato può ridurre il numero di token utilizzati, ma il compromesso tra accuratezza e affidabilità varia a seconda dei modelli e dei compiti. I ricercatori hanno valutato i metodi in attività di ragionamento matematico e scientifico, generazione di codice e factualità, utilizzando cinque modelli e un protocollo condiviso di riproduzione delle risposte.

L’articolo introduce la Target-Integrated Token Efficiency (Tite), una misura che confronta il numero di token utilizzati da un metodo con quello di un oracolo, per diversi livelli di accuratezza. Negli esperimenti riportati, l’oracolo, che seleziona tra budget di ragionamento discreti, ha ottenuto un’accuratezza superiore a quella del ragionamento naturale a lunghezza completa dei modelli in diverse configurazioni. Per esempio, nel ragionamento matematico e scientifico, gpt-oss-20b ha ottenuto un punteggio di 0.894 con l’oracolo, contro 0.824 con il ragionamento completo. Nella generazione di codice, R1-Qwen3-8B ha raggiunto 0.514 con l’oracolo, contro 0.382 con il ragionamento completo; nei benchmark di factualità, lo stesso modello ha ottenuto 0.730 contro 0.540.

Questo potenziale non significa che le tecniche di interruzione esistenti individuino in modo affidabile il momento migliore per terminare il ragionamento. Lo studio riferisce che i metodi più aggressivi, tra cui DTSR-1 e CoDE-Stop, spesso hanno utilizzato meno token, ma hanno subito notevoli perdite di accuratezza. In alcuni casi, DEER, EntroCut e PUMA hanno mostrato compromessi più favorevoli tra accuratezza ed efficienza, ma nessun metodo si è dimostrato costantemente migliore in tutte le configurazioni.

I risultati mostrano anche perché la sola accuratezza possa essere fuorviante. Nel ragionamento matematico con gpt-oss-20b, Statistical Early Exit ha eguagliato l’accuratezza del ragionamento completo, pari a 0.824, ma ha registrato un punteggio TITE di 0.191. DEER ed EntroCut hanno ottenuto un’accuratezza inferiore, pari a 0.773, ma punteggi TITE superiori: rispettivamente 0.381 e 0.380. Gli autori affermano che i metodi attuali faticano ancora a individuare punti di interruzione affidabili mantenendo bassi i costi delle verifiche.

I ricercatori hanno inoltre verificato se le risposte rimangono corrette man mano che il ragionamento prosegue. Hanno riscontrato casi in cui la correttezza è diminuita nelle fasi successive più di quanto previsto dal loro modello del rumore di decodifica. Le verifiche di affidabilità hanno inoltre rilevato che il ragionamento proseguiva dopo un’interruzione forzata e che, in alcuni output arrivati presto a una risposta corretta, le argomentazioni di supporto erano più deboli. I risultati suggeriscono che, per valutare l’interruzione anticipata, occorre considerare non solo il risparmio di token e l’accuratezza della risposta finale, ma anche se il ragionamento mantenuto giustifica la risposta.

Fonti: arXiv cs.AI.