Collinear AI a publié CWE-bench v2, un benchmark public de 100 tâches conçu pour évaluer la capacité des agents d’IA à identifier et à corriger des failles de sécurité dans de véritables dépôts open source. Chaque tâche fournit à un agent une copie de travail d’un dépôt et une brève instruction ; l’agent doit corriger la vulnérabilité sans perturber les fonctionnalités existantes.

Le benchmark couvre 91 énumérations communes des faiblesses (CWE), couvrant un éventail de types de vulnérabilités. Son système de notation est programmatique et déterministe, ce qui permet de reproduire les résultats. Collinear AI indique que les vérifications ont été affinées avec l’aide de panels de juges fondés sur des modèles de langage et que chaque tâche a fait l’objet d’un examen manuel. L’entreprise maintient également un ensemble tenu à l’écart pour suivre les performances sur des tâches que les modèles n’ont pas rencontrées ; pour y accéder, il faut écrire à cyber@collinear.ai.

Parmi les 11 modèles évalués, Gemini 4 Argon a obtenu les meilleurs résultats, avec 67,8 % en pass@1 et 81,0 % en pass@4. Claude Opus 5.5 arrive ensuite, avec respectivement 67,3 % et 78,0 %. Au moins un modèle a résolu 95 des 100 tâches, mais le modèle en tête a tout de même échoué à chaque tentative sur 19 % de l’ensemble.

La comparaison des coûts du benchmark désigne DeepSeek V4.1 Flash (1017), Claude Opus 5.5 et Gemini 4 Argon comme constituant la frontière de Pareto. DeepSeek a obtenu 57,0 % en pass@1 pour 0,04 $ par exécution ; Opus a obtenu un score supérieur de dix points de pourcentage pour 1,83 $, tandis que Gemini l’a devancé pour 3,92 $.

CWE-bench v2 est disponible sur Hugging Face ; les résultats sont suivis sur la page du jeu de données et sur un Space distinct consacré au classement. Les tâches sont présentées sous forme d’environnements Harbor autonomes, chacun comprenant une configuration Docker, une instruction et un vérificateur déterministe. L’accès au jeu de données étant soumis à des conditions, les utilisateurs doivent les accepter avant de pouvoir l’exécuter. Les mêmes environnements et vérificateurs sont également étiquetés comme sources de récompense pour l’entraînement d’agents défensifs.

Sources: Hugging Face Blog.