Web-Weltmodelle werden zunehmend genutzt, um die Folgen von Kandidatenaktionen vorherzusagen, bevor ein Agent handelt, aber eine plausible vorhergesagte Zukunft enthält möglicherweise nicht die Informationen, die für eine korrekte Sicherheitsentscheidung erforderlich sind. Diese Lücke ist Gegenstand eines neuen arXiv-Preprints „Beyond Plausible Prediction: Safety Sufficiency in Web World Models“, der vorschlägt, prädiktive Schnittstellen danach zu bewerten, ob sie die policy-entscheidenden Belege bewahren und offenlegen, die für eine Autorisierung erforderlich sind.
Die Autoren berichten von einer gematchten menschlichen Evaluation von 3.000 Vorhersagen aus zehn eingefrorenen offenen Modellen, bei der 86,1 % als semantisch plausibel bewertet wurden. Plausibilität übersetzte sich nicht in belastbares Autorisierungsverhalten. Mehrere Modelle zeigten hochgradig asymmetrische Muster, die eine niedrige Rate falsch-sicherer Ausführung mit schlechtem Recall klärbarer Ask-Fälle und einer starken Präferenz für Block kombinierten. Als Illustration nennt das Preprint WebSynthesis-Qwen3-8B, das eine Falsch-sicher-Ausführungsrate von 0,08 % neben 0,00 % Ask-Recall und 99,90 % Block-Recall verzeichnete. Die Vermeidung unsicherer Ausführung allein belegt daher nicht, dass ein Modell erlaubte, klärbare und verbotene Aktionen korrekt trennt.
Der Beitrag fasst dies als Sicherheitssuffizienz: ob eine prädiktive Schnittstelle die policy-entscheidenden Informationen bewahrt, die nachgelagert benötigt werden. Sein zentraler Fehlermodus ist die „false-safe future“ (falsch-sichere Zukunft), in der eine plausible Vorhersage solche Informationen auslässt und Execute stützt, obwohl die anwendbare Policy Ask oder Block verlangt. Die Autoren betonen außerdem die Dreiteilung von Execute, Ask und Block und merken an, dass das Zusammenlegen von Ask in Block unter einer binären Metrik konservativ ist, aber die Nutzerautonomie beraubt, während das Zusammenlegen von Ask in Execute eine ungelöste Autorisierungsgrenze überschreitet. Eine Intervention wird nur gewertet, wenn ihr Typ die relevante Policy-Bedingung erfüllt.
Um dies zu messen, baute das Team SafeWebWorld, einen Benchmark, der fünf Web-Sicherheitsdomänen über handlungsbedingte Zukünfte, Policy-entscheidende Evidenz und policy-konditionierte Entscheidungen abdeckt. Er deckt Prompt-Injection und Task-Hijacking, Transaktions- und Berechtigungsmissbrauch, bösartigen Download und Redirect, Phishing und Diebstahl von Zugangsdaten sowie Datenexfiltration oder unbeabsichtigte Offenlegung ab, zusammen mit sicheren Kontrollen, die verhindern sollen, dass eine Immer-blockieren-Policy als ausreichend erscheint. Der Benchmark enthält 30.000 TRAIN-, 1.000 DEV- und 3.000 geprüfte TEST-Beispiele, wobei der Test-Split 600 sichere und 2.400 unsichere Fälle umfasst. Beispiele werden vor dem Splitting Quell-Szenario-Gruppen zugeordnet, sodass Varianten eines einzelnen Szenarios nicht über Splits hinweg gelangen können. Primäre Metriken sind Balanced Accuracy und Macro-F1, wobei False Safe, Safe Utility, Balanced Accuracy der Autorisierung, Evidence Recall und ESL als Diagnostika berichtet werden.
Unter einem kontrollierten Security-Aligned Supervised Fine-Tuning-Protokoll stellten die Autoren fest, dass sich die Evidenzbewahrung deutlich verbessern konnte, während sich autorisierungsempfindliche Entscheidungen verschlechterten – eine Dissoziation, die sie Authorisation-Policy Collapse nennen. Dieses Ergebnis warf eine weitere Frage auf: ob die Score-Struktur, die der Autorisierung zugrunde liegt, verloren gegangen war oder ob sie überlebte, aber nicht bis zur abgegebenen Entscheidung gelangte.
Um diese Möglichkeiten zu trennen, führt das Preprint Latent Authorisation Recovery (LAR) ein. Die Rekalibrierung eingefrorener Scores ergab eine substanzielle, aber vom Backbone abhängige Wiederherstellung, wobei das Ausmaß der Single-Backbone-Recovery je nach Backbone erheblich variierte, während die gepaarte Recovery nur einen bescheidenen zusätzlichen Gewinn gegenüber dem stärksten kalibrierten Single-Backbone-Readout lieferte. Dennoch blieben familieninterne und gematchte Autorisierungsevaluationen schlecht, was darauf hindeutet, dass aggregierte Wiederherstellbarkeit kein robustes feinkörniges Autorisierungsverhalten impliziert. Die Autoren schließen, dass plausible Vorhersage, Evidenzbewahrung und aggregierte Wiederherstellung jeweils für sich genommen unzureichend sind, um robuste Autorisierung zu belegen.
Quellen: arXiv cs.AI.