Eine neue Studie untersucht, wie viel Entscheidungsbefugnis ein KI-Agent haben sollte, wenn er die Entscheidung eines anderen prüft. Sie vergleicht eine weitreichende Befugnis zum Überstimmen mit einer Evidenzschranke: Ein Prüfer darf einen Vorschlag nur dann ersetzen, wenn er einen mechanisch validen Nachweis vorlegt, dass der Vorschlag eine verbindliche Vorgabe verletzt und der Ersatzvorschlag diese einhält.
Die Forschenden testeten zwei lokal betriebene Open-Weight-Modelle anhand von 96 Aufgaben zur Raumpolitik sowie eines Benchmarks zur Portfolioübertragung mit 96 Aufgaben. Im Hauptvergleich erhielten beide Prüfregeln dieselbe Ausgabe des Prüfers; nur die Regel, nach der entschieden wurde, ob die Empfehlung umgesetzt werden konnte, änderte sich. Die Evidenzschranke verringerte deutlich die Fälle, in denen ein korrekter Vorschlag durch einen falschen ersetzt wurde, und bewahrte zugleich die meisten Korrekturen von Verstößen gegen Vorgaben.
Die Studie testete außerdem eine Prüfschnittstelle, bei der die Modelle auswählen sollten, ob ein Vorschlag beibehalten, ersetzt oder eskaliert wird. Bei diesem prospektiven Test verhinderte die Schnittstelle, dass Qwen korrekte Vorschläge verfälschte; Mistral ersetzte hingegen weiterhin alle 48 korrekten Vorschläge. Qwen lehnte zudem jede rein auf das Wohlergehen bezogene Korrektur ab, die Mistral häufig vornahm.
Die Autorinnen und Autoren betonen, dass die Wirkung der Evidenzschranke nicht nur von ihren Regeln, sondern auch vom Verhalten des Prüfers und vom Zustand der eingereichten Vorschläge abhängt. Sie kann korrekte Entscheidungen und verbindliche Vorgaben schützen, aber einen regelkonformen, jedoch suboptimalen Vorschlag nicht verbessern. Die Ergebnisse belegen daher nicht, dass eine eingeschränkte Prüfung immer besser ist: Die Fähigkeiten des Prüfers, die Gestaltung der Schnittstelle und die Befugnis, Empfehlungen verbindlich zu machen, beeinflussen allesamt das Ergebnis.
Quellen: arXiv cs.AI.