Os modelos de mundo para a web são cada vez mais usados para prever as consequências de ações candidatas antes que um agente aja, mas um futuro previsto plausível pode não conter a informação necessária para tomar uma decisão de segurança correta. Essa lacuna é o tema de um novo preprint do arXiv, “Beyond Plausible Prediction: Safety Sufficiency in Web World Models”, que propõe avaliar interfaces preditivas quanto a se elas preservam e expõem a evidência decisiva para a política necessária à autorização.
Os autores relatam uma avaliação humana pareada de 3.000 previsões extraídas de dez modelos abertos congelados, na qual 86,1% foram julgadas semanticamente plausíveis. A plausibilidade não se traduziu em comportamento de autorização sólido. Vários modelos exibiram padrões altamente assimétricos, combinando uma baixa taxa de execução falsamente segura com baixo recall de casos ASK esclarecíveis e uma forte preferência por BLOCK. Como ilustração, o preprint cita o WebSynthesis-Qwen3-8B, que registrou uma taxa de execução falsamente segura de 0,08%, ao lado de 0,00% de recall de Ask e 99,90% de recall de Block. Evitar execução insegura por si só, portanto, não estabelece que um modelo separa corretamente ações permitidas, esclarecíveis e proibidas.
O artigo enquadra isso como suficiência de segurança: se uma interface preditiva preserva a informação decisiva para a política necessária a jusante. Seu modo de falha central é o “futuro falsamente seguro”, no qual uma previsão plausível omite tal informação e sustenta Execute quando a política aplicável exige Ask ou Block. Os autores também enfatizam a distinção tripartite entre Execute, Ask e Block, observando que colapsar Ask em Block é conservador sob uma métrica binária, mas retira a agência do usuário, enquanto colapsar Ask em Execute cruza uma fronteira de autorização não resolvida. Uma intervenção só é creditada quando seu tipo corresponde à condição de política relevante.
Para medir isso, a equipe construiu o SafeWebWorld, um benchmark que abrange cinco domínios de segurança na web por meio de futuros condicionados por ação, evidência decisiva para a política e decisões condicionadas por política. Ele cobre injeção de prompt e sequestro de tarefa, abuso de transação e permissão, download malicioso e redirecionamento, phishing e roubo de credenciais, e exfiltração de dados ou divulgação não intencional, além de controles seguros destinados a impedir que uma política de sempre bloquear pareça adequada. O benchmark contém 30.000 exemplos TRAIN, 1.000 DEV e 3.000 TEST auditados, com a divisão de teste composta por 600 casos seguros e 2.400 casos inseguros. Os exemplos são atribuídos a grupos de cenário de origem antes da divisão, para que variantes de um único cenário não possam cruzar as divisões. As métricas primárias são acurácia balanceada e Macro-F1, com False Safe, Safe Utility, acurácia balanceada de autorização, Evidence Recall e ESL relatados como diagnósticos.
Sob um protocolo controlado de Ajuste Fino Supervisionado Alinhado à Segurança (Security-Aligned Supervised Fine-Tuning), os autores descobriram que a preservação de evidência podia melhorar substancialmente enquanto decisões sensíveis à autorização se deterioravam, uma dissociação que chamam de Colapso de Autorização-Política (Authorisation-Policy Collapse). Esse resultado suscitou uma questão adicional: se a estrutura de pontuação que sustenta a autorização havia sido perdida, ou se sobreviveu, mas não chegou à decisão emitida.
Para separar essas possibilidades, o preprint introduz a Recuperação Latente de Autorização (Latent Authorisation Recovery, LAR). A recalibração de pontuações congeladas revelou recuperação substancial, mas dependente do backbone, com a extensão da recuperação de backbone único variando consideravelmente por backbone, enquanto a recuperação pareada proporcionou apenas um ganho adicional modesto sobre a leitura calibrada de backbone único mais forte. Ainda assim, avaliações dentro da mesma família e com autorização pareada permaneceram ruins, indicando que a recuperabilidade agregada não implica comportamento robusto de autorização de granularidade fina. Os autores concluem que previsão plausível, preservação de evidência e recuperação agregada são, cada uma, insuficientes por si sós para estabelecer autorização robusta.
Fontes: arXiv cs.AI.