MonsterHouse é uma projeção interativa de Halloween projetada para transformar uma casa no centro da experiência de pedir doces. Em vez de simplesmente exibir decorações, a porta da garagem ouve os visitantes, responde como um velho navio pirata rabugento e gradualmente se torna mais amigável quando eles usam boas maneiras.
O sistema é construído em torno do NVIDIA Nemotron Voice Agent. O Nemotron 3 ASR converte a fala dos visitantes em texto, enquanto a versão de 4 bits do Nemotron 3.5 Bolt E4B gera as respostas. Um adaptador LoRA dá ao modelo de linguagem a personalidade de uma construção irritadiça feita com as madeiras de um navio pirata naufragado.
O Magpie TTS Zeroshot converte cada resposta em fala usando pequenas amostras de referência gravadas para diferentes humores. A casa pode alternar entre sete estilos emocionais, que vão do rabugento e ameaçador ao divertido e encantado. O Audio2Face-3D então transforma o sinal de fala limpo em animação da boca dentro de uma cena do Unreal Engine 5, enquanto um fluxo de áudio separado adiciona os efeitos profundos e ecoantes ouvidos pelos visitantes.
A interação segue uma progressão planejada. No início, a casa pode dispensar quem pede doces com reclamações, mas a persistência pode conquistá-la. Dizer “por favor” pode mudar imediatamente a conversa, enquanto “obrigado” garante uma despedida mais calorosa. O estado da conversa é acompanhado pelo aplicativo, para que a casa se lembre de como o encontro se desenvolveu.
O criador testou mais de uma dúzia de modelos de linguagem antes de escolher o Bolt E4B para o diálogo ao vivo. Um conjunto de dados contendo mais de 5.000 conversas com múltiplos turnos foi usado para treinar e avaliar adaptadores LoRA. O sistema também usa prompts e lógica de aplicativo para manter o tom, a continuidade e o timing do personagem sem tornar a casa interminavelmente argumentativa.
A velocidade foi outra consideração importante. O pipeline pode liberar o texto antes que uma resposta completa tenha sido gerada, permitindo que a casa comece a falar enquanto o restante da frase ainda está sendo produzido. Saudações preparadas e áudio armazenado em cache aceleram os encontros comuns. O atraso mediano relatado entre o fim da fala de um visitante e o áudio gerado foi de 1,70 segundo com Bolt Q4 e TTS, em comparação com 0,72 segundo para respostas armazenadas em cache. A detecção do fim da fala atualmente espera 300 milissegundos de silêncio.
O sistema visual também inclui percepção opcional baseada em IA. O Nemotron 3 Nano Omni pode descrever fantasias a partir de imagens de câmeras, enquanto YOLO e ByteTrack contam e acompanham as pessoas no campo de visão. Em um teste sintético usando cinco ovelhas fantasiadas, a análise salva identificou fantasias de pirata, vampiro, bruxa, abóbora e fantasma. O teste não foi uma evidência de desempenho com visitantes reais de Halloween, e o projeto ainda precisa ser testado em condições reais de entrada de garagem e iluminação noturna.
O MonsterHouse funciona em uma única estação de trabalho, com o pipeline de linguagem e voz atribuído a uma NVIDIA RTX PRO 6000 Blackwell Max-Q e os gráficos do Unreal Engine com o Audio2Face-3D executados por uma NVIDIA RTX PRO 4000 Blackwell. Dividir a carga de trabalho entre as GPUs tem o objetivo de manter estável a taxa de quadros da animação enquanto o pipeline conversacional está processando.
Uma interface de controle personalizada oferece acesso a falas armazenadas em cache, humores iniciais, fluxo da conversa, tratamento da voz, animação da boca, feeds das câmeras e monitoramento do desempenho. Ela também inclui os modos ao vivo, demonstração e microfone. No modo microfone, uma pessoa pode falar diretamente através da casa, ignorando o reconhecimento de fala, a geração de diálogo e a síntese de fala, enquanto ainda movimenta a boca e aplica os efeitos de voz.
O código do projeto não está empacotado para lançamento, mas os modelos NVIDIA usados no sistema estão disponíveis. O ponto de partida sugerido é o exemplo Generic Assistant do NVIDIA Nemotron Voice Agent, que combina reconhecimento de fala, um LLM, Magpie TTS, detecção de atividade de voz e tratamento do fim do enunciado. A partir daí, os desenvolvedores podem usar o Bolt E4B para o diálogo local, adicionar uma personalidade por meio de prompts ou de um adaptador LoRA, dar uma voz ao personagem com o Magpie TTS Zeroshot e animá-lo com o Audio2Face-3D.
O criador afirma que o projeto ainda precisa de mais trabalho de animação, testes completos com visitantes reais e uma maneira automatizada de distribuir doces. O objetivo de longo prazo é permitir que a casa funcione de forma independente no Halloween, enquanto respostas armazenadas em cache poderiam ajudar instalações semelhantes a operar em hardware mais limitado.
Fontes: Hugging Face Blog.