Collinear AI hat CWE-bench v2 veröffentlicht, einen öffentlichen Benchmark mit 100 Aufgaben, der testen soll, wie gut KI-Agenten Sicherheitslücken in realen Open-Source-Repositories erkennen und beheben. Jede Aufgabe stellt einem Agenten einen Repository-Checkout und eine kurze Anweisung bereit; der Agent muss die Schwachstelle beheben, ohne bestehende Funktionen zu beeinträchtigen.

Der Benchmark umfasst 91 Common Weakness Enumerations (CWEs) und deckt verschiedene Arten von Schwachstellen ab. Die Bewertung erfolgt programmatisch und deterministisch, sodass sich die Ergebnisse reproduzieren lassen. Collinear AI zufolge wurden die Prüfungen mithilfe von Gremien aus Sprachmodell-Richtern verfeinert und jede Aufgabe manuell überprüft. Das Unternehmen pflegt außerdem einen zurückgehaltenen Testsatz, um die Leistung bei Aufgaben zu verfolgen, mit denen die Modelle noch nicht in Berührung gekommen sind; für den Zugriff auf diesen Satz ist eine Kontaktaufnahme über cyber@collinear.ai erforderlich.

Unter 11 bewerteten Modellen erzielte Gemini 4 Argon die besten Ergebnisse: 67,8 % pass@1 und 81,0 % pass@4. Claude Opus 5.5 folgte mit 67,3 % beziehungsweise 78,0 %. Mindestens ein Modell löste 95 der 100 Aufgaben, doch selbst das führende Modell scheiterte bei jedem Versuch an 19 % des Aufgabensatzes.

Der Kostenvergleich des Benchmarks nennt DeepSeek V4.1 Flash (1017), Claude Opus 5.5 und Gemini 4 Argon als Pareto-Frontier. DeepSeek erreichte 57,0 % pass@1 bei 0,04 $ pro Rollout; Opus lag zehn Prozentpunkte höher bei 1,83 $, während Gemini bei 3,92 $ knapp vorn lag.

CWE-bench v2 ist über Hugging Face verfügbar. Die Ergebnisse werden auf der Dataset-Seite und in einem separaten Leaderboard-Space erfasst. Die Aufgaben sind als eigenständige Harbor-Umgebungen gebündelt, die jeweils ein Docker-Setup, eine Anweisung und einen deterministischen Verifizierer enthalten. Der Zugriff auf den Datensatz ist beschränkt; Nutzer müssen den Zugangsbedingungen zustimmen, bevor sie ihn ausführen können. Dieselben Umgebungen und Verifizierer sind außerdem als Reward-Quellen gekennzeichnet, die beim Training defensiver Agenten eingesetzt werden können.

Quellen: Hugging Face Blog.