Los modelos de mundo web pueden predecir de forma plausible sin ser lo suficientemente seguros, sostiene un preprint

Los modelos de mundo web se usan cada vez más para predecir las consecuencias de acciones candidatas antes de que un agente actúe, pero un futuro previsto plausible puede no contener la información necesaria para tomar una decisión de seguridad correcta. Esa brecha es el tema de un nuevo preprint de arXiv, «Beyond Plausible Prediction: Safety Sufficiency in Web World Models», que propone evaluar las interfaces predictivas según si preservan y exponen la evidencia decisiva para la política que se requiere para la autorización.

Los autores informan de una evaluación humana emparejada de 3.000 predicciones extraídas de diez modelos abiertos congelados, en la que el 86,1% fueron juzgadas semánticamente plausibles. La plausibilidad no se tradujo en un comportamiento de autorización sólido. Varios modelos mostraron patrones muy asimétricos, combinando una baja tasa de ejecución falsamente segura con un mal recall de casos ASK aclarables y una fuerte preferencia por BLOCK. Como ilustración, el preprint cita WebSynthesis-Qwen3-8B, que registró una tasa de ejecución falsamente segura del 0,08% junto con un recall de Ask del 0,00% y un recall de Block del 99,90%. Evitar la ejecución insegura por sí solo, por tanto, no establece que un modelo separe correctamente las acciones permitidas, aclarables y prohibidas.

El artículo lo enmarca como suficiencia de seguridad: si una interfaz predictiva preserva la información decisiva para la política que se necesita aguas abajo. Su modo de fallo central es el «futuro falsamente seguro», en el que una predicción plausible omite dicha información y respalda Execute cuando la política aplicable exige Ask o Block. Los autores también subrayan la distinción triple entre Execute, Ask y Block, y señalan que colapsar Ask en Block es conservador bajo una métrica binaria pero elimina la agencia del usuario, mientras que colapsar Ask en Execute cruza una frontera de autorización no resuelta. Una intervención solo se acredita cuando su tipo coincide con la condición de política relevante.

Para medir esto, el equipo construyó SafeWebWorld, un benchmark que abarca cinco dominios de seguridad web mediante futuros condicionados por acciones, evidencia decisiva para la política y decisiones condicionadas por la política. Cubre inyección de prompts y secuestro de tareas, abuso de transacciones y permisos, descarga y redirección maliciosas, phishing y robo de credenciales, y exfiltración de datos o divulgación no intencionada, junto con controles seguros destinados a impedir que una política de bloquear siempre parezca adecuada. El benchmark contiene 30.000 ejemplos TRAIN, 1.000 DEV y 3.000 TEST auditados, con la partición de test compuesta por 600 casos seguros y 2.400 inseguros. Los ejemplos se asignan a grupos de escenarios de origen antes de dividirlos, de modo que las variantes de un único escenario no puedan cruzar las particiones. Las métricas principales son la exactitud balanceada y Macro-F1, y se informan False Safe, Safe Utility, exactitud balanceada de autorización, Evidence Recall y ESL como diagnósticos.

Bajo un protocolo controlado de Security-Aligned Supervised Fine-Tuning, los autores encontraron que la preservación de evidencia podía mejorar sustancialmente mientras las decisiones sensibles a la autorización se deterioraban, una disociación que denominan Authorisation-Policy Collapse. Ese resultado suscitó una pregunta adicional: si la estructura de puntuaciones que sustenta la autorización se había perdido, o si había sobrevivido pero no llegaba a la decisión emitida.

Para separar estas posibilidades, el preprint introduce Latent Authorisation Recovery (LAR). La recalibración de puntuaciones congeladas reveló una recuperación sustancial pero dependiente del backbone, con la magnitud de la recuperación de un solo backbone variando considerablemente según el backbone, mientras que la recuperación emparejada solo aportó una modesta ganancia adicional sobre la lectura calibrada más fuerte de un solo backbone. Aun así, las evaluaciones intrafamiliares y de autorización emparejada siguieron siendo deficientes, lo que indica que la recuperabilidad agregada no implica un comportamiento de autorización robusto y de grano fino. Los autores concluyen que la predicción plausible, la preservación de evidencia y la recuperación agregada son, cada una, insuficientes por sí solas para establecer una autorización robusta.

Fuentes: arXiv cs.AI.