Un nuovo benchmark chiamato LOLPlay verifica se gli agenti di IA visiva sono in grado di completare obiettivi articolati in più fasi in League of Legends, mentre il gioco continua durante il loro ragionamento e le loro azioni. Comprende 36 compiti specifici per campione, che riguardano la gestione delle risorse, il combattimento, la cooperazione e gli obiettivi sulla mappa.
Gli agenti interagiscono tramite schermate e comandi di mouse e tastiera. Ogni compito ha una configurazione iniziale e condizioni di successo definite, mentre 82 verifiche eseguibili dei sotto-obiettivi registrano sia i progressi parziali sia il completamento. Il benchmark utilizza dati di gioco in tempo reale per valutare i risultati, invece di affidarsi alla dichiarazione dell’agente di aver terminato.
In 324 valutazioni di tre modelli, ciascuno testato con tre livelli di impegno nel ragionamento, GPT-6 Astra ha registrato il più alto tasso di successo nei compiti, pari al 25,0%, sia con impegno basso sia con impegno medio. Il suo tasso più alto di successo nei sotto-obiettivi è stato del 40,3% con impegno medio. Lo studio riferisce che, per nessuno dei modelli, un impegno elevato ha migliorato il successo nei compiti o nei sotto-obiettivi rispetto a un impegno basso.
Per Astra, richieste più lunghe lasciavano meno turni di interazione, indicando un possibile compromesso tra un ragionamento aggiuntivo e un controllo tempestivo. I ricercatori hanno inoltre rilevato casi in cui le azioni venivano eseguite dopo che la scena osservata era cambiata, oltre a sessioni che soddisfacevano alcuni requisiti, ma non abbastanza da completare il compito.
La serie di compiti include obiettivi quali raggiungere livelli specifici, acquistare oggetti, sopravvivere fino a una scadenza, ottenere uccisioni con bot alleati e completare gli obiettivi sulla mappa in un ordine prestabilito. I limiti di tempo vanno da cinque a 20 minuti e il gioco resta attivo mentre gli agenti rispondono ed eseguono le loro azioni.
Fonti: arXiv cs.AI.