Collinear AI ha publicado CWE-bench v2, un benchmark público de 100 tareas diseñado para comprobar hasta qué punto los agentes de IA identifican y corrigen vulnerabilidades de seguridad en repositorios reales de código abierto. Cada tarea proporciona al agente una copia del repositorio y una instrucción breve; el agente debe solucionar la vulnerabilidad sin alterar la funcionalidad existente.

El benchmark abarca 91 Common Weakness Enumerations (CWE), que cubren diversos tipos de vulnerabilidades. La puntuación es programática y determinista, lo que permite reproducir los resultados. Collinear AI afirma que perfeccionó las comprobaciones con la ayuda de paneles de jueces basados en modelos de lenguaje y que todas las tareas fueron revisadas manualmente. La empresa también mantiene un conjunto reservado para hacer seguimiento del rendimiento en tareas con las que los modelos no se han encontrado; para acceder a ese conjunto, hay que escribir a cyber@collinear.ai.

De los 11 modelos evaluados, Gemini 4 Argon obtuvo los mejores resultados, con un 67,8 % de pass@1 y un 81,0 % de pass@4. Le siguió Claude Opus 5.5, con un 67,3 % y un 78,0 %, respectivamente. Al menos un modelo resolvió 95 de las 100 tareas, pero el modelo líder aún falló en el 19 % del conjunto en todos sus intentos.

La comparación de costes del benchmark sitúa a DeepSeek V4.1 Flash (1017), Claude Opus 5.5 y Gemini 4 Argon en la frontera de Pareto. DeepSeek alcanzó un 57,0 % de pass@1 por 0,04 dólares por ejecución; Opus obtuvo diez puntos porcentuales más con un coste de 1,83 dólares, mientras que Gemini quedó ligeramente por delante con 3,92 dólares.

CWE-bench v2 está disponible a través de Hugging Face; los resultados se registran en la página del conjunto de datos y en un Space independiente con la clasificación. Las tareas están empaquetadas como entornos Harbor autocontenidos, cada uno con una configuración basada en Docker, una instrucción y un verificador determinista. El acceso al conjunto de datos está restringido, por lo que los usuarios deben aceptar sus condiciones de acceso antes de ejecutarlo. Los mismos entornos y verificadores también están etiquetados para usarse como fuentes de recompensa al entrenar agentes defensivos.

Fuentes: Hugging Face Blog.