MonsterHouse es una proyección interactiva de Halloween diseñada para convertir una casa en el centro de la experiencia de pedir dulces. En lugar de limitarse a mostrar decoraciones, la puerta de garaje escucha a los visitantes, responde como un viejo y gruñón barco pirata y se vuelve gradualmente más amable cuando estos usan buenos modales.
El sistema se basa en NVIDIA Nemotron Voice Agent. Nemotron 3 ASR convierte el habla de los visitantes en texto, mientras que la versión de 4 bits de Nemotron 3.5 Bolt E4B genera las respuestas. Un adaptador LoRA proporciona al modelo de lenguaje la personalidad de un edificio malhumorado construido con las maderas de un barco pirata hundido.
Magpie TTS Zeroshot convierte cada respuesta en habla mediante breves muestras de referencia grabadas para diferentes estados de ánimo. La casa puede alternar entre siete estilos emocionales, que van desde gruñón y amenazador hasta divertido y encantado. Después, Audio2Face-3D transforma la señal de voz limpia en animación de boca dentro de una escena de Unreal Engine 5, mientras una transmisión de audio independiente añade los efectos profundos y reverberantes que escuchan los visitantes.
La interacción sigue una progresión planificada. Al principio, la casa puede despachar a quienes piden dulces con quejas, pero la persistencia puede conquistarla. Decir «por favor» puede cambiar inmediatamente el intercambio, mientras que «gracias» consigue una despedida más cálida. El estado de la conversación es gestionado por la aplicación para que la casa recuerde cómo se ha desarrollado el encuentro.
El creador probó más de una docena de modelos de lenguaje antes de elegir Bolt E4B para el diálogo en directo. Se utilizó un conjunto de datos con más de 5.000 conversaciones de varios turnos para entrenar y evaluar adaptadores LoRA. El sistema también emplea instrucciones y lógica de aplicación para mantener el tono, la continuidad y el ritmo del personaje sin hacer que la casa discuta interminablemente.
La velocidad fue otra consideración importante. La canalización puede liberar texto antes de que se haya generado una respuesta completa, lo que permite que la casa comience a hablar mientras aún se produce el resto de la frase. Los saludos preparados y el audio almacenado en caché permiten gestionar más rápidamente los encuentros habituales. El retraso mediano informado desde el final del habla de un visitante hasta el audio generado fue de 1,70 segundos con Bolt Q4 y TTS, frente a 0,72 segundos para las respuestas almacenadas en caché. La detección del final del habla actualmente espera 300 milisegundos de silencio.
El sistema visual también incluye percepción opcional basada en IA. Nemotron 3 Nano Omni puede describir disfraces a partir de imágenes de cámara, mientras que YOLO y ByteTrack cuentan y siguen a las personas que aparecen en la escena. En una prueba sintética con cinco ovejas disfrazadas, el análisis guardado identificó atuendos de pirata, vampiro, bruja, calabaza y fantasma. La prueba no constituyó evidencia del rendimiento con visitantes reales de Halloween, y el proyecto aún requiere pruebas en condiciones reales de entrada de vehículos y con iluminación nocturna.
MonsterHouse funciona en una sola estación de trabajo, con la canalización de lenguaje y voz asignada a una NVIDIA RTX PRO 6000 Blackwell Max-Q, y los gráficos de Unreal Engine con Audio2Face-3D gestionados por una NVIDIA RTX PRO 4000 Blackwell. Dividir la carga de trabajo entre las GPU pretende mantener estable la velocidad de fotogramas de la animación mientras se procesa la canalización conversacional.
Una interfaz de control personalizada proporciona acceso a líneas almacenadas en caché, estados de ánimo iniciales, flujo de conversación, tratamiento de voz, animación de boca, fuentes de cámara y supervisión del rendimiento. También incluye modos en directo, demostración y micrófono. En el modo de micrófono, una persona puede hablar directamente a través de la casa, omitiendo el reconocimiento del habla, la generación del diálogo y la síntesis de voz, aunque la boca sigue animándose y se aplican los efectos de voz.
El código del proyecto no está preparado para su distribución, pero los modelos de NVIDIA utilizados en el sistema están disponibles. El punto de partida sugerido es el ejemplo Generic Assistant de NVIDIA Nemotron Voice Agent, que combina reconocimiento del habla, un LLM, Magpie TTS, detección de actividad de voz y gestión del final de las intervenciones. A partir de ahí, los desarrolladores pueden utilizar Bolt E4B para el diálogo local, añadir una personalidad mediante instrucciones o un adaptador LoRA, darle voz al personaje con Magpie TTS Zeroshot y animarlo con Audio2Face-3D.
El creador afirma que el proyecto todavía necesita más trabajo de animación, pruebas completas con visitantes reales y una forma automatizada de repartir dulces. El objetivo a más largo plazo es permitir que la casa funcione de manera independiente durante Halloween, mientras que las respuestas almacenadas en caché podrían ayudar a que instalaciones similares funcionen con hardware más limitado.
Fuentes: Hugging Face Blog.