CloudOpsBench es un nuevo benchmark de código abierto diseñado para medir qué tan bien realizan los agentes de IA tareas habituales de DevOps en la nube. Su versión 1.0 contiene 45 tareas en AWS, que abarcan labores como reparar servicios, eliminar recursos, limitar el acceso, desplegar actualizaciones y dar de baja proyectos. El benchmark fue desarrollado por ingenieros de DevOps con amplia experiencia.
Incluso los modelos más potentes evaluados tuvieron dificultades con muchas de las tareas. Claude Fable 5.1 completó el 60 por ciento, mientras que GPT-6 Astra completó el 53 por ciento. El equipo dirigido por Ang Chen, de la Universidad de Michigan, atribuye la mayoría de los fallos a problemas de razonamiento, más que a lagunas de conocimiento: alrededor del 80 por ciento se debió a que los agentes calcularon mal el alcance de una tarea, no inspeccionaron todos los servicios pertinentes o se detuvieron antes de completar el trabajo.
Alrededor del 20 por ciento de los errores se debió a acciones incorrectas, algunas de las cuales podrían tener efectos irreversibles en la infraestructura. Las tareas se ejecutan de forma idéntica en un entorno de AWS activo y en un emulador. Está previsto añadir compatibilidad con GCP, Azure y OCI.
El proyecto está disponible en GitHub bajo la licencia Apache 2.0, junto con un análisis detallado de los patrones de fallo.
Fuentes: The Decoder.