OpenAI hat LifeVal vorgestellt, einen Benchmark zur Messung, wie gut KI-Systeme bei alltäglichen Aufgaben unterstützen. Die Evaluierung deckt praktische Bedürfnisse ab, darunter die Suche nach Kinderbetreuung, der Zugang zu Behördendienstleistungen, die Erstellung von Budgets, die Vorbereitung auf die Schule, die Anpassung von Rezepten, die Bestellung von Lebensmitteln und die Planung von Workouts.
Das Unternehmen erklärt, dass hilfreiche Unterstützung mehr erfordert, als Ratschläge zu geben oder eine Chat-Antwort zu generieren. Ein persönlicher Assistent sollte auch in der Lage sein, Handlungen auszuführen, die dabei helfen, Aufgaben abzuschließen. LifeVal wurde entwickelt, um Fortschritte bei diesen Arbeitsabläufen zu verfolgen und Verbesserungen der Modellleistung im Laufe der Zeit zu unterstützen.
Um die Aktivitäten zu identifizieren, bei denen Menschen KI-Unterstützung am meisten schätzen, nutzte OpenAI Daten aus der American Time Use Survey und der Multinational Time Use Study. Diese Quellen erfassen alltägliche Aktivitäten nach demografischen Merkmalen, Tageszeiten und Jahreszeiten. OpenAI führte außerdem eine demografisch repräsentative Umfrage unter 3.995 Befragten durch und fragte, bei welchen Aufgaben sie sich am meisten Unterstützung von einem persönlichen Assistenten wünschen würden.
Die daraus hervorgegangene Evaluierung umfasst Bereiche wie Pflege, Gesundheit, Bildung, Haushaltsverwaltung, persönliche Finanzen, Einkäufe und den Zugang zu Behördendienstleistungen. OpenAI zufolge erzielen seine neuesten Modelle bei vielen LifeVal-Aufgaben sehr gute Ergebnisse.
Nach Angaben des Unternehmens haben Arbeiten im vergangenen Jahr die Fähigkeiten der Modelle bei der Browsernutzung, Computernutzung und bei Konnektoren verbessert. Diese Funktionen erweitern die Bandbreite der Aufgaben, bei denen ChatGPT unterstützen kann, und sollen dazu beitragen, dass es sich von einem herkömmlichen Chat-Tool zu einem stärker agentischen persönlichen Assistenten entwickelt.
OpenAI erklärt, dass LifeVal akademische Evaluierungen ergänzen soll, indem gemessen wird, wie effektiv KI Menschen dabei hilft, Entscheidungen zu treffen, alltägliche Verantwortlichkeiten zu verwalten und sinnvolle Aufgaben abzuschließen.
Quellen: OpenAI News.