Collinear AI ha pubblicato CWE-bench v2, un benchmark pubblico composto da 100 attività pensate per verificare quanto bene gli agenti di IA individuino e correggano le vulnerabilità di sicurezza in repository open source reali. Ogni attività fornisce all’agente una copia del repository e un’istruzione breve; l’agente deve correggere la vulnerabilità senza compromettere le funzionalità esistenti.

Il benchmark comprende 91 Common Weakness Enumeration (CWE), che coprono vari tipi di vulnerabilità. Il punteggio viene calcolato in modo programmatico e deterministico, così da poter riprodurre i risultati. Collinear AI afferma che le verifiche sono state perfezionate con l’aiuto di panel di giudici basati su modelli linguistici e che ogni attività è stata sottoposta a una revisione manuale. L’azienda mantiene inoltre un set riservato per monitorare le prestazioni sulle attività che i modelli non hanno ancora incontrato; per accedervi è necessario contattare cyber@collinear.ai.

Tra gli 11 modelli valutati, Gemini 4 Argon ha ottenuto i risultati migliori, con il 67,8% di pass@1 e l’81,0% di pass@4. Claude Opus 5.5 si è classificato subito dopo, rispettivamente con il 67,3% e il 78,0%. Almeno un modello ha risolto 95 delle 100 attività, ma il modello in testa ha comunque fallito il 19% del set a ogni tentativo.

Il confronto dei costi del benchmark indica DeepSeek V4.1 Flash (1017), Claude Opus 5.5 e Gemini 4 Argon come frontiera di Pareto. DeepSeek ha raggiunto il 57,0% di pass@1 al costo di 0,04 $ per esecuzione; Opus ha ottenuto un punteggio superiore di dieci punti percentuali, al costo di 1,83 $, mentre Gemini lo ha superato di misura, arrivando a 3,92 $.

CWE-bench v2 è disponibile tramite Hugging Face; i risultati sono monitorati nella pagina del dataset e in una leaderboard Space separata. Le attività sono fornite come ambienti Harbor autonomi, ciascuno con una configurazione Docker, un’istruzione e un verificatore deterministico. Il dataset è soggetto a restrizioni di accesso, quindi gli utenti devono accettarne le condizioni prima di eseguirlo. Gli stessi ambienti e verificatori sono anche contrassegnati come fonti di ricompensa da utilizzare nell’addestramento di agenti difensivi.

Fonti: Hugging Face Blog.