Un equipo de investigación dirigido por Google, junto con investigadores de Stanford, Oxford y otras universidades estadounidenses, ha presentado StreamVibe, un agente de video diseñado para decidir cuándo debe hablar en lugar de responder únicamente a comandos explícitos. El sistema está pensado para observar actividades como cocinar o montar muebles y ofrecer ayuda cuando el usuario encuentra dificultades, incluso cuando la solicitud es imprecisa.

Los investigadores afirman que los asistentes de video existentes suelen estar diseñados para instrucciones específicas, como avisar a alguien cuando el agua comienza a hervir. Como resultado, a menudo no reconocen las intenciones implícitas, pierden el registro de los pasos completados, repiten consejos o responden demasiado tarde. También pueden seguir cumpliendo una solicitud anterior después de que el usuario la cambia durante la tarea.

Para estudiar estos problemas, el equipo creó un banco de pruebas con unos 4.100 ejemplos extraídos de más de 183 horas de actividades cotidianas y grabaciones de software. Los ejemplos abarcan instrucciones explícitas, objetivos imprecisos y solicitudes que cambian con el tiempo. En un escenario, un usuario que desmonta una excavadora de juguete primero pide actualizaciones sobre el progreso y después cambia a una solicitud de control de calidad.

Los investigadores entrenaron StreamVibe-VL para decidir cada segundo si debía permanecer en silencio o responder. Se utilizó aprendizaje por refuerzo para hacer que el asistente fuera más selectivo y reducir las interrupciones innecesarias. Un sistema de memoria independiente registra las solicitudes pendientes y los pasos completados, mientras que el propio modelo determina si debe hablar y qué debe decir.

Según el artículo, StreamVibe-VL mejora en un 10,7 por ciento el momento y la calidad de las respuestas en comparación con otros modelos. El sistema de memoria busca proporcionar una mejora adicional del 12,3 por ciento en la interacción proactiva, al tiempo que reduce las interrupciones no deseadas. Por lo general, el modelo superó a su modelo base y a otros sistemas de código abierto, aunque el Gemini 3.8 Flash propietario de Google obtuvo puntuaciones más altas en varias pruebas.

Los resultados también ponen de relieve las limitaciones de los agentes de video actuales. Los modelos suelen tomar decisiones adecuadas cuando solo necesitan evaluar momentos individuales, pero su rendimiento cae considerablemente cuando procesan un video completo y deben basarse en sus respuestas anteriores. El artículo informa de que una métrica clave del contenido de las respuestas disminuyó hasta un 61,5 por ciento cuando los sistemas dependían de su propio historial de interacción. Los videos de más de cinco minutos resultaron especialmente difíciles, sobre todo cuando las instrucciones cambiaban durante la tarea.

En un ejemplo relacionado con un tutorial de GIMP, el modelo de comparación JoyAI afirmó incorrectamente que una imagen convertida ya se había guardado antes de que el usuario la abriera. En cambio, StreamVibe-VL proporcionó los siguientes pasos relevantes, entre ellos seleccionar «Colors» y después «Desaturate». En un tutorial para preparar tostadas enrolladas con mermelada, otros modelos describieron principalmente acciones visibles, mientras que StreamVibe-VL recomendó retirar primero la corteza.

Los investigadores señalan que las situaciones del mundo real probablemente sean más complejas que el banco de pruebas. Los trabajos futuros examinarán cómo las preferencias del usuario y el entorno circundante afectan al comportamiento del asistente con el paso del tiempo. StreamVibe forma parte del trabajo más amplio de Google sobre sistemas de video que analizan acciones y determinan qué información requiere una atención más detenida.

Fuentes: The Decoder.