OpenAI ha introdotto LifeVal, un benchmark incentrato sulla misurazione dell’efficacia con cui i sistemi di IA assistono nelle attività quotidiane. La valutazione comprende esigenze pratiche tra cui trovare servizi di assistenza all’infanzia, accedere ai servizi governativi, creare bilanci, prepararsi per la scuola, adattare ricette, ordinare la spesa e pianificare gli allenamenti.
L’azienda afferma che un’assistenza utile richiede più che fornire consigli o generare una risposta in chat. Un assistente personale dovrebbe anche essere in grado di compiere azioni che aiutino a completare le attività. LifeVal è stato creato per monitorare i progressi in questi flussi di lavoro e sostenere il miglioramento delle prestazioni dei modelli nel tempo.
Per individuare le attività in cui le persone apprezzano maggiormente l’assistenza dell’IA, OpenAI ha utilizzato dati dell’American Time Use Survey e del Multinational Time Use Study. Queste fonti catalogano le attività quotidiane in base ai dati demografici, alle ore del giorno e alle stagioni. OpenAI ha inoltre condotto un sondaggio rappresentativo dal punto di vista demografico su 3.995 intervistati, chiedendo quali attività vorrebbero maggiormente affidare all’aiuto di un assistente personale.
La valutazione risultante comprende ambiti come l’assistenza agli altri, la salute, l’istruzione, l’amministrazione domestica, le finanze personali, la spesa e l’accesso ai servizi governativi. OpenAI afferma che i suoi modelli più recenti ottengono risultati molto positivi in molte attività di LifeVal.
Secondo l’azienda, il lavoro svolto nell’ultimo anno ha migliorato le capacità dei modelli nell’uso del browser, nell’uso del computer e dei connettori. Queste funzioni ampliano la gamma di attività che ChatGPT può supportare e mirano a portarlo oltre il ruolo di uno strumento di chat convenzionale, verso quello di un assistente personale più agentico.
OpenAI afferma che LifeVal è concepito per integrare le valutazioni accademiche, misurando quanto efficacemente l’IA aiuti le persone a orientarsi nelle decisioni, gestire le responsabilità quotidiane e completare attività significative.
Fonti: OpenAI News.