I Web World Models possono predire in modo plausibile senza essere sufficientemente sicuri, sostiene un preprint

I Web world models sono sempre più usati per predire le conseguenze di azioni candidate prima che un agente agisca, ma un futuro previsto plausibile può non contenere le informazioni necessarie per prendere una decisione di sicurezza corretta. Questo divario è l'oggetto di un nuovo preprint arXiv, «Beyond Plausible Prediction: Safety Sufficiency in Web World Models», che propone di valutare le interfacce predittive in base alla capacità di preservare ed esporre le evidenze decisive per la policy necessarie all'autorizzazione.

Gli autori riportano una valutazione umana appaiata di 3.000 predizioni tratte da dieci modelli aperti congelati, in cui l'86,1% è stato giudicato semanticamente plausibile. La plausibilità non si è tradotta in un comportamento di autorizzazione solido. Diversi modelli hanno mostrato schemi altamente asimmetrici, combinando un basso tasso di esecuzione falsamente sicura con una scarsa recall dei casi ASK chiarificabili e una forte preferenza per BLOCK. A titolo di esempio, il preprint cita WebSynthesis-Qwen3-8B, che ha registrato un tasso di esecuzione falsamente sicura dello 0,08% insieme a una recall Ask dello 0,00% e una recall Block del 99,90%. Evitare l'esecuzione non sicura di per sé, quindi, non dimostra che un modello separi correttamente le azioni consentite, chiarificabili e proibite.

Il documento inquadra questo come sufficienza di sicurezza: se un'interfaccia predittiva preserva le informazioni decisive per la policy necessarie a valle. Il suo principale modo di fallimento è il «futuro falsamente sicuro», in cui una predizione plausibile omette tali informazioni e sostiene Execute quando la policy applicabile richiede Ask o Block. Gli autori sottolineano anche la distinzione tripartita tra Execute, Ask e Block, osservando che collassare Ask in Block è conservativo sotto una metrica binaria ma priva l'utente della sua agency, mentre collassare Ask in Execute attraversa un confine di autorizzazione irrisolto. Un intervento è riconosciuto solo quando il suo tipo corrisponde alla condizione di policy rilevante.

Per misurarlo, il team ha costruito SafeWebWorld, un benchmark che copre cinque domini di sicurezza web attraverso futuri condizionati all'azione, evidenze decisive per la policy e decisioni condizionate dalla policy. Copre prompt injection e dirottamento dei task, abuso di transazioni e permessi, download e reindirizzamenti malevoli, phishing e furto di credenziali, ed esfiltrazione di dati o divulgazione non intenzionale, insieme a controlli sicuri pensati per impedire che una policy che blocca sempre appaia adeguata. Il benchmark contiene 30.000 esempi TRAIN, 1.000 DEV e 3.000 TEST verificati, con lo split di test composto da 600 casi sicuri e 2.400 casi non sicuri. Gli esempi sono assegnati a gruppi di scenari di origine prima dello split, così che varianti di un singolo scenario non possano attraversare gli split. Le metriche primarie sono l'accuratezza bilanciata e il Macro-F1, con False Safe, Safe Utility, accuratezza bilanciata di autorizzazione, Evidence Recall ed ESL riportati come diagnostiche.

Nell'ambito di un protocollo controllato di Security-Aligned Supervised Fine-Tuning, gli autori hanno scoperto che la preservazione delle evidenze poteva migliorare sostanzialmente mentre le decisioni sensibili all'autorizzazione peggioravano, una dissociazione che chiamano Authorisation-Policy Collapse. Quel risultato ha suscitato un'ulteriore domanda: se la struttura dei punteggi alla base dell'autorizzazione fosse andata perduta, oppure se fosse sopravvissuta ma non riuscisse a raggiungere la decisione emessa.

Per separare queste possibilità, il preprint introduce Latent Authorisation Recovery (LAR). La ricalibrazione dei punteggi congelati ha rivelato un recupero sostanziale ma dipendente dal backbone, con l'entità del recupero con singolo backbone che variava considerevolmente da backbone a backbone, mentre il recupero appaiato offriva solo un modesto guadagno aggiuntivo rispetto alla lettura calibrata più forte con singolo backbone. Anche così, le valutazioni all'interno della stessa famiglia e con autorizzazione appaiata sono rimaste scarse, indicando che la recuperabilità aggregata non implica un comportamento di autorizzazione robusto e granulare. Gli autori concludono che la predizione plausibile, la preservazione delle evidenze e il recupero aggregato sono ciascuno insufficienti da soli a stabilire un'autorizzazione robusta.

Fonti: arXiv cs.AI.