Un nouveau benchmark appelé LOLPlay teste si des agents d’IA visuelle peuvent accomplir des objectifs en plusieurs étapes dans League of Legends, alors que la partie continue pendant leur raisonnement et leurs actions. Il comprend 36 tâches propres à des champions, couvrant la gestion des ressources, le combat, la coopération et les objectifs sur la carte.

Les agents interagissent à l’aide de captures d’écran et de commandes à la souris et au clavier. Chaque tâche comporte une configuration de départ définie et des conditions de réussite, tandis que 82 vérifications exécutables de sous-objectifs consignent aussi bien les progrès partiels que l’achèvement. Le benchmark utilise les données en direct du jeu pour évaluer les résultats, au lieu de se fier à la déclaration de l’agent selon laquelle il a terminé.

Lors de 324 évaluations de trois modèles selon trois niveaux d’effort de raisonnement, GPT-6 Astra a enregistré le taux de réussite des tâches le plus élevé, soit 25,0 %, aux niveaux faible et moyen. Son taux de réussite des sous-objectifs le plus élevé était de 40,3 %, au niveau moyen. L’étude indique qu’un effort élevé n’a amélioré ni la réussite des tâches ni celle des sous-objectifs par rapport à un effort faible pour aucun des modèles.

Pour Astra, des requêtes plus longues laissaient moins de tours d’interaction, ce qui met en évidence un éventuel compromis entre un raisonnement supplémentaire et un contrôle exercé à temps. Les chercheurs ont également relevé des exemples d’actions exécutées après un changement de la scène observée, ainsi que des parties où certaines exigences étaient remplies, mais pas suffisamment pour achever la tâche.

La suite de tâches comprend des objectifs tels que l’atteinte de niveaux précis, l’achat d’objets, la survie jusqu’à une échéance, l’obtention d’éliminations avec des bots alliés et l’accomplissement d’objectifs sur la carte dans un ordre imposé. Les budgets vont de cinq à 20 minutes, et la partie reste active pendant que les agents répondent et exécutent leurs actions.

Sources: arXiv cs.AI.