Une équipe de recherche dirigée par Google, avec la participation de chercheurs de Stanford, d’Oxford et d’autres universités américaines, a présenté StreamVibe, un agent vidéo conçu pour décider quand il doit prendre la parole au lieu de répondre uniquement à des commandes explicites. Le système est destiné à observer des activités telles que cuisiner ou monter des meubles et à proposer son aide lorsqu’un utilisateur rencontre une difficulté, même lorsque la demande est vague.
Les chercheurs affirment que les assistants vidéo existants sont généralement conçus pour des instructions précises, comme avertir quelqu’un lorsque l’eau commence à bouillir. Par conséquent, ils ne parviennent souvent pas à reconnaître les intentions implicites, perdent la trace des étapes accomplies, répètent des conseils ou répondent trop tard. Ils peuvent également continuer à suivre une demande antérieure après que l’utilisateur l’a modifiée au cours de la tâche.
Pour étudier ces problèmes, l’équipe a créé une référence contenant environ 4 100 exemples tirés de plus de 183 heures d’activités quotidiennes et d’enregistrements de logiciels. Les exemples couvrent les instructions explicites, les objectifs vagues et les demandes qui évoluent au fil du temps. Dans un scénario, un utilisateur qui démonte une pelleteuse-jouet demande d’abord des mises à jour sur l’avancement, puis demande ensuite un contrôle de qualité.
Les chercheurs ont entraîné StreamVibe-VL à décider chaque seconde de rester silencieux ou de répondre. L’apprentissage par renforcement a été utilisé pour rendre l’assistant plus sélectif et réduire les interruptions inutiles. Un système de mémoire distinct enregistre les demandes en attente et les étapes accomplies, tandis que le modèle lui-même détermine s’il doit prendre la parole et quoi dire.
Selon l’article, StreamVibe-VL améliore de 10,7 % le moment et la qualité des réponses par rapport à d’autres modèles. Le système de mémoire est censé apporter une amélioration supplémentaire de 12,3 % dans les interactions proactives tout en réduisant les interruptions indésirables. Le modèle a généralement surpassé son modèle de base et d’autres systèmes open source, bien que le Gemini 3.8 Flash propriétaire de Google ait obtenu de meilleurs scores dans plusieurs tests.
Les résultats mettent également en évidence les limites des agents vidéo actuels. Les modèles prennent souvent des décisions adaptées lorsqu’ils doivent seulement évaluer des moments individuels, mais leurs performances chutent fortement lorsqu’ils traitent une vidéo complète et doivent s’appuyer sur leurs réponses précédentes. L’article indique qu’une mesure essentielle du contenu des réponses a diminué jusqu’à 61,5 % lorsque les systèmes se fondaient sur leur propre historique d’interaction. Les vidéos de plus de cinq minutes se sont révélées particulièrement difficiles, surtout lorsque les instructions changeaient au cours de la tâche.
Dans un exemple portant sur un tutoriel GIMP, le modèle de comparaison JoyAI a déclaré à tort qu’une image convertie avait déjà été enregistrée avant que l’utilisateur ne l’ouvre. StreamVibe-VL a plutôt fourni les étapes pertinentes suivantes, notamment sélectionner « Couleurs », puis « Désaturer ». Dans un tutoriel expliquant comment préparer des toasts roulés à la confiture, les autres modèles décrivaient principalement les actions visibles, tandis que StreamVibe-VL recommandait de retirer d’abord la croûte.
Les chercheurs soulignent que les situations réelles seront probablement plus complexes que la référence. Les travaux futurs examineront la manière dont les préférences de l’utilisateur et l’environnement alentour influencent le comportement de l’assistant au fil du temps. StreamVibe s’inscrit dans les travaux plus larges de Google sur les systèmes vidéo qui analysent les actions et déterminent quelles informations nécessitent une attention accrue.
Sources: The Decoder.