OpenAI a présenté LifeVal, un benchmark axé sur la mesure de l’efficacité avec laquelle les systèmes d’IA aident à accomplir des tâches quotidiennes. L’évaluation couvre des besoins pratiques, notamment trouver un service de garde d’enfants, accéder aux services publics, établir des budgets, se préparer pour l’école, adapter des recettes, commander des courses et planifier des séances d’entraînement.
L’entreprise affirme qu’une assistance utile exige davantage que de fournir des conseils ou de générer une réponse dans une conversation. Un assistant personnel devrait également être capable d’effectuer des actions qui contribuent à mener les tâches à bien. LifeVal a été créé pour suivre les progrès réalisés dans ces processus et favoriser l’amélioration des performances des modèles au fil du temps.
Pour identifier les activités dans lesquelles les utilisateurs apprécient le plus l’aide de l’IA, OpenAI a utilisé des données de l’American Time Use Survey et de la Multinational Time Use Study. Ces sources répertorient les activités quotidiennes selon les catégories démographiques, les moments de la journée et les saisons. OpenAI a également mené une enquête représentative sur le plan démographique auprès de 3 995 personnes, leur demandant pour quelles tâches elles souhaiteraient le plus obtenir l’aide d’un assistant personnel.
L’évaluation qui en résulte couvre des domaines tels que l’aide aux proches, la santé, l’éducation, la gestion du foyer, les finances personnelles, les achats et l’accès aux services publics. OpenAI affirme que ses modèles les plus récents obtiennent de très bons résultats dans de nombreuses tâches de LifeVal.
Selon l’entreprise, le travail mené au cours de l’année écoulée a amélioré les capacités des modèles en matière d’utilisation des navigateurs, d’utilisation des ordinateurs et de connecteurs. Ces fonctions élargissent l’éventail des tâches que ChatGPT peut prendre en charge et visent à le faire évoluer au-delà d’un outil de conversation classique vers un assistant personnel davantage agentique.
OpenAI affirme que LifeVal a vocation à compléter les évaluations universitaires en mesurant dans quelle mesure l’IA aide les utilisateurs à s’orienter dans leurs décisions, à gérer leurs responsabilités quotidiennes et à accomplir des tâches importantes.
Sources: OpenAI News.