Ein von Google geleitetes Forschungsteam hat gemeinsam mit Forschern der Stanford University, der University of Oxford und anderer US-amerikanischer Universitäten StreamVibe vorgestellt, einen Video-Agenten, der entscheiden soll, wann er sprechen muss, anstatt nur auf ausdrückliche Befehle zu reagieren. Das System soll Aktivitäten wie Kochen oder den Zusammenbau von Möbeln beobachten und Hilfe anbieten, wenn ein Nutzer auf Schwierigkeiten stößt – auch wenn die Anfrage vage formuliert ist.
Die Forscher erklären, dass bestehende Video-Assistenten im Allgemeinen für konkrete Anweisungen entwickelt wurden, etwa um jemanden zu benachrichtigen, sobald Wasser zu kochen beginnt. Deshalb erkennen sie angedeutete Absichten häufig nicht, verlieren den Überblick über bereits erledigte Schritte, wiederholen Ratschläge oder reagieren zu spät. Außerdem können sie eine frühere Anfrage weiterverfolgen, obwohl der Nutzer sie während der Aufgabe geändert hat.
Um diese Probleme zu untersuchen, erstellte das Team einen Benchmark mit etwa 4.100 Beispielen, die aus mehr als 183 Stunden Aufnahmen alltäglicher Aktivitäten und Softwareaufzeichnungen stammen. Die Beispiele umfassen ausdrückliche Anweisungen, vage Ziele und Anfragen, die sich im Laufe der Zeit ändern. In einem Szenario zerlegt ein Nutzer einen Spielzeugbagger, bittet zunächst um Fortschrittsmeldungen und wechselt später zu der Bitte um eine Qualitätskontrolle.
Die Forscher trainierten StreamVibe-VL darauf, jede Sekunde zu entscheiden, ob es still bleiben oder antworten soll. Mithilfe von bestärkendem Lernen sollte der Assistent selektiver werden und unnötige Unterbrechungen reduzieren. Ein separates Gedächtnissystem hält ausstehende Anfragen und abgeschlossene Schritte fest, während das Modell selbst entscheidet, ob es sprechen und was es sagen soll.
Laut der Studie verbessert StreamVibe-VL den Zeitpunkt und die Qualität der Antworten im Vergleich zu anderen Modellen um 10,7 Prozent. Das Gedächtnissystem soll die proaktive Interaktion zusätzlich um 12,3 Prozent verbessern und gleichzeitig unerwünschte Unterbrechungen reduzieren. Das Modell übertraf im Allgemeinen sein Basismodell und andere Open-Source-Systeme, obwohl Googles proprietäres Gemini 3.8 Flash in mehreren Tests höhere Werte erzielte.
Die Ergebnisse zeigen auch die Grenzen heutiger Video-Agenten. Modelle treffen häufig geeignete Entscheidungen, wenn sie nur einzelne Momente bewerten müssen. Ihre Leistung sinkt jedoch deutlich, wenn sie ein vollständiges Video verarbeiten und auf ihren vorherigen Antworten aufbauen müssen. Die Studie berichtet, dass eine zentrale Kennzahl für den Antwortinhalt um bis zu 61,5 Prozent zurückging, wenn sich die Systeme auf ihre eigene Interaktionshistorie stützten. Videos mit einer Länge von mehr als fünf Minuten waren besonders schwierig, vor allem wenn sich die Anweisungen während der Aufgabe änderten.
In einem Beispiel aus einem GIMP-Tutorial erklärte das Vergleichsmodell JoyAI fälschlicherweise, ein konvertiertes Bild sei bereits gespeichert worden, bevor der Nutzer es geöffnet hatte. StreamVibe-VL lieferte stattdessen die nächsten relevanten Schritte, darunter die Auswahl von „Farben“ und anschließend „Sättigung verringern“. In einem Tutorial zur Zubereitung von Toastrollen mit Marmelade beschrieben andere Modelle hauptsächlich sichtbare Handlungen, während StreamVibe-VL empfahl, zuerst die Kruste zu entfernen.
Die Forscher weisen darauf hin, dass Situationen in der realen Welt wahrscheinlich komplexer sein werden als der Benchmark. Künftige Arbeiten sollen untersuchen, wie Nutzerpräferenzen und die Umgebung das Verhalten des Assistenten im Laufe der Zeit beeinflussen. StreamVibe ist Teil von Googles umfassenderer Arbeit an Videosystemen, die Handlungen analysieren und bestimmen, welchen Informationen sie besondere Aufmerksamkeit widmen müssen.
Quellen: The Decoder.