A OpenAI apresentou o LifeVal, um benchmark focado em medir o desempenho dos sistemas de IA ao ajudar nas tarefas do dia a dia. A avaliação abrange necessidades práticas, incluindo encontrar serviços de cuidados infantis, acessar serviços governamentais, criar orçamentos, preparar-se para a escola, adaptar receitas, pedir mantimentos e planejar exercícios.
A empresa afirma que uma assistência útil exige mais do que fornecer conselhos ou gerar uma resposta em um chat. Um assistente pessoal também deve ser capaz de realizar ações que ajudem a concluir tarefas. O LifeVal foi criado para acompanhar o progresso nesses fluxos de trabalho e apoiar melhorias no desempenho dos modelos ao longo do tempo.
Para identificar as atividades nas quais as pessoas mais valorizam a assistência da IA, a OpenAI usou dados da American Time Use Survey e do Multinational Time Use Study. Essas fontes catalogam atividades cotidianas entre diferentes grupos demográficos, horários do dia e estações do ano. A OpenAI também realizou uma pesquisa demograficamente representativa com 3.995 entrevistados, perguntando com quais tarefas eles mais gostariam de receber ajuda de um assistente pessoal.
A avaliação resultante abrange áreas como prestação de cuidados, saúde, educação, administração doméstica, finanças pessoais, compras e acesso a serviços governamentais. A OpenAI afirma que seus modelos mais recentes têm um desempenho muito bom em muitas tarefas do LifeVal.
Segundo a empresa, o trabalho realizado no último ano aprimorou as capacidades dos modelos no uso de navegadores, no uso de computadores e nas conexões com outros serviços. Essas funções ampliam o conjunto de tarefas que o ChatGPT pode apoiar e pretendem levá-lo além de uma ferramenta de chat convencional, aproximando-o de um assistente pessoal mais autônomo.
A OpenAI afirma que o LifeVal foi criado para complementar as avaliações acadêmicas, medindo com que eficácia a IA ajuda as pessoas a navegar por decisões, administrar responsabilidades cotidianas e concluir tarefas significativas.
Fontes: OpenAI News.