Un nuevo benchmark llamado LOLPlay pone a prueba si los agentes de IA visuales pueden completar objetivos de varios pasos en League of Legends mientras el juego sigue ejecutándose durante sus razonamientos y acciones. Incluye 36 tareas específicas de campeones que abarcan la gestión de recursos, el combate, la cooperación y los objetivos del mapa.
Los agentes interactúan mediante capturas de pantalla y controles de ratón y teclado. Cada tarea tiene una configuración inicial definida y condiciones de éxito, mientras que 82 comprobaciones ejecutables de subobjetivos registran tanto el progreso parcial como la finalización. El benchmark utiliza datos del juego en directo para evaluar los resultados, en lugar de basarse en el informe del propio agente de que ha terminado.
En 324 evaluaciones de tres modelos con tres niveles de esfuerzo de razonamiento, GPT-6 Astra registró la tasa más alta de éxito en las tareas: 25,0 % tanto con un esfuerzo bajo como medio. Su mayor tasa de éxito en subobjetivos fue del 40,3 % con un esfuerzo medio. El estudio señala que el esfuerzo alto no mejoró el éxito en tareas ni en subobjetivos respecto al esfuerzo bajo en ninguno de los modelos.
En el caso de Astra, las solicitudes más largas dejaron menos rondas de interacción, lo que apunta a una posible disyuntiva entre un razonamiento adicional y un control oportuno. Los investigadores también encontraron ejemplos de acciones ejecutadas después de que la escena observada hubiera cambiado, así como partidas que cumplían algunos requisitos, pero no los suficientes para completar la tarea.
El conjunto de tareas incluye objetivos como alcanzar niveles determinados, comprar objetos, sobrevivir hasta una fecha límite, conseguir asesinatos con bots aliados y completar objetivos del mapa en el orden requerido. Los límites de tiempo van de cinco a 20 minutos, y la partida sigue activa mientras los agentes responden y ejecutan sus acciones.
Fuentes: arXiv cs.AI.