Um novo benchmark chamado LOLPlay testa se agentes de IA visual conseguem cumprir objetivos com várias etapas em League of Legends enquanto o jogo continua em execução durante o raciocínio e as ações dos agentes. Ele inclui 36 tarefas específicas de cada campeão, abrangendo gestão de recursos, combate, cooperação e objetivos do mapa.
Os agentes interagem por meio de capturas de tela e controles de mouse e teclado. Cada tarefa tem uma configuração inicial e condições de sucesso definidas, enquanto 82 verificações executáveis de subobjetivos registram tanto o progresso parcial quanto a conclusão. O benchmark usa dados do jogo em tempo real para avaliar os resultados, em vez de confiar no relato do próprio agente de que terminou.
Em 324 avaliações de três modelos em três níveis de esforço de raciocínio, o GPT-6 Astra registrou a maior taxa de sucesso nas tarefas, de 25,0%, tanto no nível baixo quanto no médio. Sua maior taxa de sucesso nos subobjetivos foi de 40,3%, no nível médio. O estudo relata que o nível alto de esforço não melhorou o sucesso nas tarefas nem nos subobjetivos em comparação com o nível baixo para nenhum dos modelos.
No caso do Astra, solicitações mais longas deixaram menos rodadas de interação, apontando para uma possível compensação entre raciocínio adicional e controle em tempo hábil. Os pesquisadores também encontraram exemplos de ações executadas depois que a cena observada havia mudado, além de rodadas que cumpriram alguns requisitos, mas não o suficiente para concluir a tarefa.
O conjunto de tarefas inclui objetivos como atingir níveis especificados, comprar itens, sobreviver até um prazo, garantir abates com bots aliados e concluir objetivos do mapa em uma ordem obrigatória. Os limites de tempo variam de cinco a 20 minutos, e a partida continua ativa enquanto os agentes respondem e executam suas ações.
Fontes: arXiv cs.AI.