Un team di ricerca guidato da Google, insieme a ricercatori di Stanford, Oxford e altre università statunitensi, ha presentato StreamVibe, un agente video progettato per decidere quando dovrebbe parlare invece di rispondere soltanto a comandi espliciti. Il sistema è destinato a osservare attività come cucinare o montare mobili e a offrire aiuto quando l’utente incontra una difficoltà, anche quando la richiesta è vaga.

I ricercatori affermano che gli assistenti video esistenti sono generalmente progettati per istruzioni specifiche, come avvisare qualcuno quando l’acqua inizia a bollire. Di conseguenza, spesso non riescono a riconoscere le intenzioni implicite, perdono traccia dei passaggi completati, ripetono consigli o rispondono troppo tardi. Possono anche continuare a seguire una richiesta precedente dopo che l’utente l’ha modificata durante l’attività.

Per studiare questi problemi, il team ha creato un benchmark contenente circa 4.100 esempi tratti da oltre 183 ore di attività quotidiane e registrazioni di software. Gli esempi comprendono istruzioni esplicite, obiettivi vaghi e richieste che cambiano nel tempo. In uno scenario, un utente che sta smontando un escavatore giocattolo chiede inizialmente aggiornamenti sui progressi e in seguito passa a richiedere un controllo della qualità.

I ricercatori hanno addestrato StreamVibe-VL a decidere ogni secondo se rimanere in silenzio o rispondere. È stato utilizzato l’apprendimento per rinforzo per rendere l’assistente più selettivo e ridurre le interruzioni non necessarie. Un sistema di memoria separato registra le richieste in sospeso e i passaggi completati, mentre il modello stesso determina se parlare e cosa dire.

Secondo il documento di ricerca, StreamVibe-VL migliora del 10,7 percento la tempistica e la qualità delle risposte rispetto ad altri modelli. Il sistema di memoria dovrebbe fornire un ulteriore miglioramento del 12,3 percento nell’interazione proattiva, riducendo al contempo le interruzioni indesiderate. Il modello ha generalmente superato il proprio modello di base e altri sistemi open source, sebbene il Gemini 3.8 Flash proprietario di Google abbia ottenuto punteggi più elevati in diversi test.

I risultati evidenziano anche i limiti degli attuali agenti video. I modelli spesso prendono decisioni adeguate quando devono valutare soltanto singoli momenti, ma le prestazioni calano drasticamente quando elaborano un video completo e devono basarsi sulle risposte precedenti. Il documento riferisce che una metrica chiave relativa al contenuto delle risposte è diminuita fino al 61,5 percento quando i sistemi si sono affidati alla propria cronologia delle interazioni. I video più lunghi di cinque minuti sono risultati particolarmente difficili, soprattutto quando le istruzioni cambiavano durante l’attività.

In un esempio relativo a un tutorial di GIMP, il modello di confronto JoyAI ha dichiarato erroneamente che un’immagine convertita era già stata salvata prima che l’utente la aprisse. StreamVibe-VL ha invece fornito i passaggi successivi pertinenti, tra cui la selezione di “Colors” e poi “Desaturate”. In un tutorial per preparare toast arrotolati con marmellata, gli altri modelli descrivevano principalmente le azioni visibili, mentre StreamVibe-VL consigliava di rimuovere prima la crosta.

I ricercatori osservano che le situazioni del mondo reale saranno probabilmente più complesse del benchmark. I lavori futuri esamineranno il modo in cui le preferenze dell’utente e l’ambiente circostante influenzano nel tempo il comportamento dell’assistente. StreamVibe rientra nel più ampio lavoro di Google sui sistemi video che analizzano le azioni e determinano quali informazioni richiedono maggiore attenzione.

Fonti: The Decoder.