A Collinear AI lançou o CWE-bench v2, um benchmark público com 100 tarefas concebidas para testar a capacidade de agentes de IA de identificar e corrigir vulnerabilidades de segurança em repositórios reais de código aberto. Cada tarefa fornece ao agente uma cópia do repositório e uma instrução breve; o agente deve corrigir a vulnerabilidade sem comprometer as funcionalidades existentes.

O benchmark abrange 91 Common Weakness Enumerations (CWEs), contemplando diversos tipos de vulnerabilidade. A pontuação é programática e determinística, permitindo reproduzir os resultados. A Collinear AI afirma que as verificações foram aprimoradas com a ajuda de painéis de avaliadores baseados em modelos de linguagem e que todas as tarefas passaram por uma revisão manual. A empresa também mantém um conjunto reservado para acompanhar o desempenho em tarefas que os modelos ainda não encontraram; para ter acesso a esse conjunto, é preciso entrar em contato pelo endereço cyber@collinear.ai.

Entre 11 modelos avaliados, o Gemini 4 Argon registrou os melhores resultados, com 67,8% em pass@1 e 81,0% em pass@4. O Claude Opus 5.5 ficou em seguida, com 67,3% e 78,0%, respectivamente. Pelo menos um modelo resolveu 95 das 100 tarefas, mas o modelo líder ainda falhou em 19% do conjunto em todas as tentativas.

A comparação de custos do benchmark identifica DeepSeek V4.1 Flash (1017), Claude Opus 5.5 e Gemini 4 Argon como a fronteira de Pareto. O DeepSeek alcançou 57,0% em pass@1 a US$ 0,04 por execução; o Opus teve uma pontuação dez pontos percentuais maior, a US$ 1,83, enquanto o Gemini ficou ligeiramente à frente, a US$ 3,92.

O CWE-bench v2 está disponível por meio do Hugging Face, com os resultados registrados na página do conjunto de dados e em um Space separado de classificação. As tarefas são fornecidas como ambientes Harbor autocontidos, cada um com uma configuração em Docker, uma instrução e um verificador determinístico. O acesso ao conjunto de dados é restrito, portanto os usuários precisam aceitar as condições de acesso antes de executá-lo. Os mesmos ambientes e verificadores também estão identificados para uso como fontes de recompensa no treinamento de agentes defensivos.

Fontes: Hugging Face Blog.