MonsterHouse est une projection interactive d’Halloween conçue pour faire d’une maison le centre de l’expérience de la collecte de bonbons. Au lieu de simplement afficher des décorations, la porte de garage écoute les visiteurs, répond comme un vieux navire pirate grincheux et devient progressivement plus aimable lorsqu’ils font preuve de politesse.
Le système repose sur NVIDIA Nemotron Voice Agent. Nemotron 3 ASR convertit la parole des visiteurs en texte, tandis que la version 4 bits de Nemotron 3.5 Bolt E4B génère les réponses. Un adaptateur LoRA confère au modèle de langage la personnalité d’un bâtiment revêche construit avec les membrures d’un navire pirate coulé.
Magpie TTS Zeroshot convertit chaque réponse en parole à l’aide de courts échantillons de référence enregistrés pour différentes humeurs. La maison peut passer entre sept styles émotionnels, allant de grincheux et menaçant à amusé et ravi. Audio2Face-3D transforme ensuite le signal vocal propre en animation de la bouche dans une scène Unreal Engine 5, tandis qu’un flux audio distinct ajoute les effets profonds et réverbérants entendus par les visiteurs.
L’interaction suit une progression planifiée. Au début, la maison peut repousser les enfants venus chercher des bonbons en se plaignant, mais leur persévérance peut la convaincre. Dire « s’il vous plaît » peut immédiatement modifier l’échange, tandis que « merci » vaut un au revoir plus chaleureux. L’état de la conversation est suivi par l’application afin que la maison se souvienne de la manière dont la rencontre a évolué.
Le créateur a testé plus d’une douzaine de modèles de langage avant de choisir Bolt E4B pour le dialogue en direct. Un jeu de données contenant plus de 5 000 conversations à plusieurs tours a servi à entraîner et à évaluer les adaptateurs LoRA. Le système utilise également des invites et une logique applicative pour maintenir le ton, la continuité et le rythme du personnage, sans rendre la maison perpétuellement querelleuse.
La vitesse constituait une autre considération importante. Le pipeline peut transmettre le texte avant qu’une réponse complète ne soit générée, ce qui permet à la maison de commencer à parler alors que le reste de la phrase est encore en cours de production. Des salutations préparées et de l’audio mis en cache accélèrent les rencontres courantes. Le délai médian indiqué entre la fin de la parole d’un visiteur et la génération de l’audio était de 1,70 seconde avec Bolt Q4 et TTS, contre 0,72 seconde pour les réponses mises en cache. La détection de la fin de la parole attend actuellement 300 millisecondes de silence.
Le système visuel comprend également une perception optionnelle fondée sur l’IA. Nemotron 3 Nano Omni peut décrire les costumes à partir d’images capturées par une caméra, tandis que YOLO et ByteTrack comptent et suivent les personnes visibles. Lors d’un test synthétique utilisant cinq moutons costumés, l’analyse enregistrée a identifié des tenues de pirate, de vampire, de sorcière, de citrouille et de fantôme. Le test ne constituait pas une preuve des performances avec de véritables visiteurs d’Halloween, et le projet doit encore être testé dans les conditions réelles d’une allée et sous un éclairage nocturne.
MonsterHouse fonctionne sur une seule station de travail, le pipeline de langage et de voix étant attribué à une NVIDIA RTX PRO 6000 Blackwell Max-Q, tandis que les graphismes Unreal Engine avec Audio2Face-3D sont gérés par une NVIDIA RTX PRO 4000 Blackwell. La répartition de la charge entre les GPU vise à maintenir une fréquence d’images stable pour l’animation pendant le traitement du pipeline conversationnel.
Une interface de contrôle personnalisée donne accès aux répliques mises en cache, aux humeurs d’ouverture, au déroulement de la conversation, au traitement de la voix, à l’animation de la bouche, aux flux des caméras et au suivi des performances. Elle comprend également des modes direct, démonstration et microphone. En mode microphone, une personne peut parler directement à travers la maison, en contournant la reconnaissance vocale, la génération du dialogue et la synthèse vocale, tout en animant la bouche et en appliquant les effets vocaux.
Le code du projet n’est pas conditionné pour être distribué, mais les modèles NVIDIA utilisés dans le système sont disponibles. Le point de départ suggéré est l’exemple Generic Assistant de NVIDIA Nemotron Voice Agent, qui combine la reconnaissance vocale, un LLM, Magpie TTS, la détection d’activité vocale et la gestion de la fin des énoncés. À partir de là, les développeurs peuvent utiliser Bolt E4B pour un dialogue local, ajouter une personnalité au moyen d’invites ou d’un adaptateur LoRA, donner une voix au personnage avec Magpie TTS Zeroshot et l’animer avec Audio2Face-3D.
Le créateur affirme que le projet nécessite encore des travaux d’animation supplémentaires, des tests complets avec de vrais visiteurs et une méthode automatisée pour distribuer les bonbons. L’objectif à plus long terme est de permettre à la maison de fonctionner de manière autonome pendant Halloween, tandis que les réponses mises en cache pourraient aider des installations similaires à fonctionner sur du matériel plus limité.
Sources: Hugging Face Blog.