CloudOpsBench ist ein neuer Open-Source-Benchmark, der messen soll, wie gut KI-Agenten gängige DevOps-Aufgaben in der Cloud erledigen. Version 1.0 umfasst 45 Aufgaben für AWS, darunter Dienste reparieren, Ressourcen entfernen, Zugriffe beschränken, Updates bereitstellen und Projekte außer Betrieb nehmen. Entwickelt wurde der Benchmark von erfahrenen DevOps-Ingenieuren.
Selbst die leistungsstärksten getesteten Modelle hatten mit vielen Aufgaben Schwierigkeiten. Claude Fable 5.1 erledigte 60 Prozent, während GPT-6 Astra 53 Prozent schaffte. Das Team unter der Leitung von Ang Chen an der University of Michigan führt die meisten Fehler auf Probleme beim Schlussfolgern und nicht auf Wissenslücken zurück: Bei etwa 80 Prozent schätzten die Agenten den Umfang einer Aufgabe falsch ein, prüften nicht alle relevanten Dienste oder brachen ab, bevor die Arbeit abgeschlossen war.
Rund 20 Prozent der Fehler gingen auf falsche Aktionen zurück, von denen einige irreversible Auswirkungen auf die Infrastruktur haben könnten. Die Aufgaben werden in einer Live-AWS-Umgebung und in einem Emulator identisch ausgeführt. Unterstützung für GCP, Azure und OCI ist geplant.
Das Projekt ist auf GitHub unter der Apache-2.0-Lizenz verfügbar. Dort findet sich auch eine detaillierte Analyse der Fehlermuster.
Quellen: The Decoder.