Uma equipe de pesquisa liderada pelo Google, juntamente com pesquisadores de Stanford, Oxford e outras universidades dos Estados Unidos, apresentou o StreamVibe, um agente de vídeo projetado para decidir quando deve falar, em vez de responder apenas a comandos explícitos. O sistema foi desenvolvido para observar atividades como cozinhar ou montar móveis e oferecer ajuda quando o usuário encontra dificuldades, mesmo quando o pedido é vago.

Os pesquisadores afirmam que os assistentes de vídeo existentes geralmente são projetados para instruções específicas, como avisar alguém quando a água começa a ferver. Como resultado, eles frequentemente não reconhecem intenções implícitas, perdem o controle das etapas concluídas, repetem conselhos ou respondem tarde demais. Eles também podem continuar seguindo um pedido anterior depois que o usuário o altera durante a tarefa.

Para estudar esses problemas, a equipe criou um benchmark contendo cerca de 4.100 exemplos extraídos de mais de 183 horas de atividades cotidianas e gravações de software. Os exemplos abrangem instruções explícitas, objetivos vagos e pedidos que mudam com o tempo. Em um cenário, um usuário desmontando uma escavadeira de brinquedo primeiro pede atualizações sobre o progresso e depois passa a solicitar uma verificação de qualidade.

Os pesquisadores treinaram o StreamVibe-VL para decidir a cada segundo se deveria permanecer em silêncio ou responder. O aprendizado por reforço foi usado para tornar o assistente mais seletivo e reduzir interrupções desnecessárias. Um sistema de memória separado registra pedidos pendentes e etapas concluídas, enquanto o próprio modelo determina se deve falar e o que dizer.

De acordo com o artigo, o StreamVibe-VL melhora em 10,7% o momento e a qualidade das respostas em comparação com outros modelos. O sistema de memória foi projetado para proporcionar uma melhoria adicional de 12,3% na interação proativa, reduzindo ao mesmo tempo as interrupções indesejadas. O modelo geralmente superou seu modelo-base e outros sistemas de código aberto, embora o Gemini 3.8 Flash proprietário do Google tenha obtido pontuações mais altas em vários testes.

Os resultados também destacam as limitações dos agentes de vídeo atuais. Os modelos costumam tomar decisões adequadas quando precisam apenas avaliar momentos individuais, mas o desempenho cai acentuadamente quando processam um vídeo completo e precisam se basear em suas respostas anteriores. O artigo relata que uma métrica essencial de conteúdo das respostas caiu até 61,5% quando os sistemas dependiam de seu próprio histórico de interação. Vídeos com mais de cinco minutos foram particularmente difíceis, especialmente quando as instruções mudavam durante a tarefa.

Em um exemplo envolvendo um tutorial do GIMP, o modelo de comparação JoyAI afirmou incorretamente que uma imagem convertida já havia sido salva antes de o usuário abri-la. O StreamVibe-VL, por sua vez, forneceu as próximas etapas relevantes, incluindo selecionar “Colors” e depois “Desaturate”. Em um tutorial sobre como fazer torradas enroladas com geleia, outros modelos descreveram principalmente as ações visíveis, enquanto o StreamVibe-VL recomendou remover primeiro a crosta.

Os pesquisadores observam que as situações do mundo real provavelmente serão mais complexas do que o benchmark. Trabalhos futuros examinarão como as preferências do usuário e o ambiente ao redor afetam o comportamento do assistente ao longo do tempo. O StreamVibe faz parte do trabalho mais amplo do Google com sistemas de vídeo que analisam ações e determinam quais informações exigem mais atenção.

Fontes: The Decoder.