Ein neuer Benchmark namens LOLPlay testet, ob visuelle KI-Agenten mehrstufige Ziele in League of Legends erreichen können, während das Spiel während ihrer Überlegungen und Aktionen weiterläuft. Er umfasst 36 championspezifische Aufgaben zu Ressourcenverwaltung, Kämpfen, Zusammenarbeit und Kartenobjektiven.
Die Agenten interagieren mithilfe von Screenshots sowie Maus- und Tastatursteuerung. Jede Aufgabe hat eine festgelegte Ausgangssituation und Erfolgskriterien; 82 ausführbare Teilzielprüfungen erfassen sowohl Teilfortschritte als auch den Abschluss. Der Benchmark verwendet Live-Spieldaten zur Bewertung der Ergebnisse, statt sich auf die eigene Meldung eines Agenten zu verlassen, er sei fertig.
In 324 Auswertungen von drei Modellen mit jeweils drei Einstellungen für den Reasoning-Aufwand erzielte GPT-6 Astra mit 25,0 % sowohl bei niedrigem als auch bei mittlerem Aufwand die höchste Erfolgsquote bei den Aufgaben. Seine höchste Erfolgsquote bei den Teilzielen lag bei 40,3 % bei mittlerem Aufwand. Der Studie zufolge verbesserte ein hoher Aufwand bei keinem der Modelle den Erfolg bei Aufgaben oder Teilzielen gegenüber einem niedrigen Aufwand.
Bei Astra ließen längere Anfragen weniger Interaktionsrunden übrig, was auf einen möglichen Zielkonflikt zwischen zusätzlichem Reasoning und rechtzeitiger Steuerung hindeutet. Die Forschenden fanden außerdem Beispiele dafür, dass Aktionen ausgeführt wurden, nachdem sich die beobachtete Szene bereits verändert hatte, sowie Durchläufe, in denen einige Anforderungen erfüllt wurden, aber nicht genug, um die Aufgabe abzuschließen.
Die Aufgabensammlung umfasst Ziele wie das Erreichen bestimmter Stufen, den Kauf von Gegenständen, das Überleben bis zu einer Frist, das Erzielen von Kills mit verbündeten Bots und das Abschließen von Kartenobjektiven in einer vorgeschriebenen Reihenfolge. Die Zeitbudgets reichen von fünf bis 20 Minuten, und das Spielgeschehen läuft weiter, während die Agenten reagieren und ihre Aktionen ausführen.
Quellen: arXiv cs.AI.