CloudOpsBench è un nuovo benchmark open source progettato per misurare quanto bene gli agenti di IA svolgono le attività DevOps più comuni nel cloud. La versione 1.0 comprende 45 attività su AWS, tra cui riparare servizi, rimuovere risorse, limitare gli accessi, distribuire aggiornamenti e dismettere progetti. Il benchmark è stato sviluppato da ingegneri DevOps esperti.
Anche i modelli più efficaci tra quelli testati hanno incontrato difficoltà con molte delle attività. Claude Fable 5.1 ne ha completato il 60 per cento, mentre GPT-6 Astra ne ha completato il 53 per cento. Il team guidato da Ang Chen all’Università del Michigan attribuisce la maggior parte degli errori a problemi di ragionamento, piuttosto che a lacune nelle conoscenze: circa l’80 per cento riguardava agenti che valutavano male la portata di un’attività, non esaminavano tutti i servizi pertinenti o si fermavano prima di aver completato il lavoro.
Circa il 20 per cento degli errori è derivato da azioni errate, alcune delle quali avrebbero potuto avere effetti irreversibili sull’infrastruttura. Le attività vengono eseguite in modo identico in un ambiente AWS reale e in un emulatore. È previsto il supporto per GCP, Azure e OCI.
Il progetto è disponibile su GitHub con licenza Apache 2.0, insieme a un’analisi dettagliata delle tipologie di errore.
Fonti: The Decoder.