Forscher haben ThinkJev vorgestellt, einen neuartigen Ansatz zur Optimierung der Art und Weise, wie Sprachmodelle typisierte Entscheidungen handhaben. Dabei handelt es sich um Auswahlentscheidungen aus einer geschlossenen Menge von Optionen, auf die Code reagieren kann. Obwohl das Lesen von Wahrscheinlichkeiten aus einem einzigen Vorwärtspass schnell ist, scheitert es häufig bei mehrstufigen Problemen wie Arithmetik, Zählen oder Datumsvergleichen. Umgekehrt korrigiert das Zulassen eines Denkprozesses vor der Beantwortung die meisten Fehler, erhöht jedoch die Verarbeitungszeit von Millisekunden auf Sekunden. ThinkJev adressiert diesen Zielkonflikt, indem es eine Zweisystem-Architektur aus einem einzigen offenen Modell mit hybriden Denkfähigkeiten aufbaut, das entweder direkt oder nach einem Denkprozess antworten kann.
Der Rahmen nutzt zwei unterschiedliche Systeme, die aus einem einzigen Modell und einem zwischengespeicherten Prompt abgeleitet sind. System 1 liefert eine schnelle Antwort, indem es sofort die Wahrscheinlichkeiten des Modells für Buchstaben der Optionen liest, ohne Denktokens zu generieren. System 2 geht in ein tieferes Nachdenken über und liest dieselben Optionsbuchstaben erst, nachdem das Modell einen Denkprozess generiert hat. Da beide Systeme aus denselben Antwortfeldern desselben Prompts lesen, erfordert der Wechsel von System 1 zu System 2 keine erneute Verarbeitung des Eingangs oder den Einsatz eines zweiten Modells. Darüber hinaus kann die Antwort nach einer beliebigen Anzahl von Denktokens gelesen werden; ein einziges gesampeltes Gedankentoken liefert somit kalibrierte Antworten für jedes mögliche Budget an Denkressourcen.
ThinkJev funktioniert ohne Training, indem es einen statistischen Test auf gelabelten Entwicklungsdaten verwendet, um zu bestimmen, wann System 1 zuverlässig genug ist, um allein zu antworten. Bei einer Ziel-Fehlerrate von 5 % beantwortete das Modell Qwen3.5-27B erfolgreich 24,5 % von 8.359 Testentscheidungen ausschließlich mit System 1 und erreichte eine tatsächliche Fehlerrate von 3,9 %. Für die verbleibenden Entscheidungen, die ein tieferes Nachdenken erfordern, stoppt das System den Denkprozess, sobald die Antwort einen Vertrauensschwellenwert erreicht. Dieser adaptive Ansatz erreichte eine Genauigkeit von 81,6 %, während er nur 72 % der Denktokens benötigte, die von Modellen erforderlich sind, die immer nachdenken, im Vergleich zu einer Genauigkeit von 82,7 % bei konstantem Nachdenken.
Die Studie hebt hervor, dass das alleinige Vertrauen in die Sicherheit von System 1 zur Entscheidung, wann nachgedacht werden soll, weniger effektiv ist, da die Entscheidungen, bei denen System 1 am wenigsten sicher ist, nicht immer diejenigen sind, die durch Nachdenken korrigiert werden. Auf JevBench, einem unabhängigen Benchmark für Dienste mit typisierten Entscheidungen, dachte Qwen3.5-27B mit ThinkJev nur bei 29,4 % der öffentlichen Einträge nach und erreichte eine Genauigkeit, die sich nicht von zwei führenden kommerziellen Denk-APIs unterscheiden ließ. Die Forscher haben den Code und die Datengeneratoren öffentlich verfügbar gemacht, um die weitere Erforschung dieser trainingsfreien Kaskadenmethode zu unterstützen.
Quellen: arXiv cs.AI.