Studie zeigt: Methoden zum vorzeitigen Abbruch können Tokens sparen, bergen aber das Risiko weniger zuverlässiger Schlussfolgerungen

Eine Studie zu Methoden für den vorzeitigen Abbruch bei großen Schlussfolgerungsmodellen zeigt, dass das Abschneiden generierter Schlussfolgerungen den Tokenverbrauch senken kann. Der Zielkonflikt zwischen Genauigkeit und Zuverlässigkeit unterscheidet sich jedoch je nach Modell und Aufgabe. Die Forschenden evaluierten die Methoden anhand mathematischer und wissenschaftlicher Schlussfolgerungen, Codegenerierung und Faktentreue mit fünf Modellen und einem gemeinsamen Replay-Protokoll.

Die Arbeit führt Target-Integrated Token Efficiency (Tite) ein, ein Maß, das den Tokenverbrauch einer Methode über verschiedene Genauigkeitsziele hinweg mit einem Orakel vergleicht. In den berichteten Experimenten erzielte das Orakel – das aus diskreten Schlussfolgerungsbudgets auswählt – in mehreren Situationen eine höhere Genauigkeit als die natürliche Schlussfolgerung in voller Länge der Modelle. So erreichte gpt-oss-20b bei mathematischen und wissenschaftlichen Schlussfolgerungen mit dem Orakel beispielsweise 0.894, verglichen mit 0.824 bei vollständiger Schlussfolgerung. Bei der Codegenerierung erzielte R1-Qwen3-8B mit dem Orakel 0.514 gegenüber 0.382 bei vollständiger Schlussfolgerung; auf Benchmarks zur Faktentreue lag der Wert desselben Modells bei 0.730 gegenüber 0.540.

Dieses Potenzial bedeutet nicht, dass bestehende Abbruchtechniken zuverlässig den besten Zeitpunkt für das Ende der Schlussfolgerungen finden. Die Studie berichtet, dass aggressivere Methoden, darunter DTSR-1 und CoDE-Stop, zwar häufig weniger Tokens verwendeten, dabei jedoch erhebliche Genauigkeitsverluste hinnehmen mussten. DEER, EntroCut und PUMA wiesen in einigen Fällen günstigere Zielkonflikte zwischen Genauigkeit und Effizienz auf, doch keine Methode war durchgängig in allen Situationen die beste.

Die Ergebnisse zeigen auch, warum die Genauigkeit allein irreführend sein kann. Bei mathematischen Schlussfolgerungen mit gpt-oss-20b erreichte Statistical Early Exit mit 0.824 dieselbe Genauigkeit wie die vollständige Schlussfolgerung, erzielte aber einen TITE-Wert von 0.191. DEER und EntroCut hatten mit 0.773 eine niedrigere Genauigkeit, dafür jedoch höhere TITE-Werte von 0.381 beziehungsweise 0.380. Den Autorinnen und Autoren zufolge fällt es den aktuellen Methoden weiterhin schwer, verlässliche Abbruchpunkte zu finden und zugleich die Kosten für deren Überprüfung niedrig zu halten.

Die Forschenden prüften zusätzlich, ob Antworten korrekt bleiben, während die Schlussfolgerungen fortgesetzt werden. Sie fanden Fälle, in denen die Korrektheit an späteren Punkten stärker abnahm, als ihr Modell für Dekodierungsrauschen erwarten ließ. Ihre Zuverlässigkeitsprüfungen ergaben außerdem, dass nach einem erzwungenen Abbruch weiter Schlussfolgerungen gezogen wurden und einige Ausgaben, die früh zu einer korrekten Antwort gelangten, schwächere unterstützende Begründungen enthielten. Die Ergebnisse legen nahe, dass die Bewertung des vorzeitigen Abbruchs über Token-Einsparungen und die Genauigkeit der endgültigen Antwort hinausgehen und auch untersuchen muss, ob die beibehaltenen Schlussfolgerungen die Antwort stützen.

Quellen: arXiv cs.AI.