CloudOpsBench est un nouveau benchmark open source conçu pour mesurer la capacité des agents d’IA à effectuer des tâches DevOps courantes dans le cloud. Sa version 1.0 comprend 45 tâches sur AWS, portant notamment sur la réparation de services, la suppression de ressources, la restriction des accès, le déploiement de mises à jour et la mise hors service de projets. Le benchmark a été développé par des ingénieurs DevOps expérimentés.
Même les modèles les plus performants parmi ceux qui ont été testés ont eu du mal à accomplir de nombreuses tâches. Claude Fable 5.1 en a réussi 60 %, tandis que GPT-6 Astra en a réussi 53 %. L’équipe dirigée par Ang Chen, à l’Université du Michigan, attribue la plupart des échecs à des problèmes de raisonnement plutôt qu’à des lacunes dans les connaissances : environ 80 % des cas impliquaient des agents qui évaluaient mal la portée d’une tâche, ne vérifiaient pas tous les services concernés ou s’arrêtaient avant d’avoir terminé le travail.
Environ 20 % des erreurs découlaient d’actions incorrectes, dont certaines pouvaient avoir des effets irréversibles sur l’infrastructure. Les tâches sont exécutées à l’identique dans un environnement AWS réel et dans un émulateur. La prise en charge de GCP, Azure et OCI est prévue.
Le projet est disponible sur GitHub sous licence Apache 2.0, avec une analyse détaillée des types d’échec.
Sources: The Decoder.