O CloudOpsBench é um novo benchmark de código aberto desenvolvido para medir a capacidade dos agentes de IA de executar tarefas comuns de DevOps na nuvem. Sua versão 1.0 contém 45 tarefas na AWS, que abrangem atividades como reparar serviços, remover recursos, restringir o acesso, implantar atualizações e desativar projetos. O benchmark foi desenvolvido por engenheiros experientes de DevOps.
Até mesmo os modelos mais fortes testados tiveram dificuldades com muitas das tarefas. O Claude Fable 5.1 concluiu 60 por cento delas, enquanto o GPT-6 Astra concluiu 53 por cento. A equipe liderada por Ang Chen, da Universidade de Michigan, atribui a maioria das falhas a problemas de raciocínio, e não a lacunas de conhecimento: cerca de 80 por cento envolveram agentes que avaliaram incorretamente o escopo de uma tarefa, não inspecionaram todos os serviços relevantes ou interromperam o trabalho antes de concluí-lo.
Cerca de 20 por cento dos erros decorreram de ações incorretas, algumas das quais poderiam ter efeitos irreversíveis na infraestrutura. As tarefas são executadas de forma idêntica em um ambiente real da AWS e em um emulador. Está previsto o suporte a GCP, Azure e OCI.
O projeto está disponível no GitHub sob a licença Apache 2.0, juntamente com uma análise detalhada dos padrões de falha.
Fontes: The Decoder.