MonsterHouse ist eine interaktive Halloween-Projektion, die ein Haus zum Mittelpunkt des Süßes-oder-Saures-Erlebnisses machen soll. Anstatt einfach nur Dekorationen anzuzeigen, hört das Garagentor den Besuchern zu, antwortet wie ein mürrisches altes Piratenschiff und wird allmählich freundlicher, wenn sie gute Manieren zeigen.
Das System basiert auf NVIDIA Nemotron Voice Agent. Nemotron 3 ASR wandelt die Sprache der Besucher in Text um, während die 4-Bit-Version von Nemotron 3.5 Bolt E4B die Antworten erzeugt. Ein LoRA-Adapter verleiht dem Sprachmodell die Persönlichkeit eines übellaunigen Gebäudes, das aus den Balken eines gesunkenen Piratenschiffs gefertigt wurde.
Magpie TTS Zeroshot wandelt jede Antwort mithilfe kurzer Referenzaufnahmen, die für verschiedene Stimmungen aufgezeichnet wurden, in Sprache um. Das Haus kann zwischen sieben emotionalen Stilen wechseln, die von mürrisch und bedrohlich bis amüsiert und begeistert reichen. Audio2Face-3D verwandelt das klare Sprachsignal anschließend in eine Mundanimation innerhalb einer Unreal-Engine-5-Szene, während ein separater Audiostream die tiefen, hallenden Effekte ergänzt, die die Besucher hören.
Die Interaktion folgt einem geplanten Verlauf. Anfangs kann das Haus Süßes-oder-Saures-Kinder mit Beschwerden abweisen, doch Beharrlichkeit kann es umstimmen. Wenn man „bitte“ sagt, kann sich der Austausch sofort verändern, während ein „danke“ einen wärmeren Abschied einbringt. Der Gesprächszustand wird von der Anwendung verfolgt, sodass sich das Haus daran erinnert, wie sich eine Begegnung entwickelt hat.
Der Entwickler testete mehr als ein Dutzend Sprachmodelle, bevor er Bolt E4B für den Live-Dialog auswählte. Ein Datensatz mit mehr als 5.000 Gesprächen mit mehreren Gesprächsrunden wurde verwendet, um LoRA-Adapter zu trainieren und zu bewerten. Das System nutzt außerdem Prompts und Anwendungslogik, um den Ton, die Kontinuität und das Timing der Figur aufrechtzuerhalten, ohne das Haus endlos streitlustig werden zu lassen.
Auch die Geschwindigkeit war ein wichtiger Faktor. Die Pipeline kann Text ausgeben, bevor eine vollständige Antwort erzeugt wurde, sodass das Haus zu sprechen beginnen kann, während der restliche Satz noch produziert wird. Vorbereitete Begrüßungen und zwischengespeicherte Audiodateien beschleunigen häufige Begegnungen. Die gemeldete mediane Verzögerung vom Ende der Sprache eines Besuchers bis zum erzeugten Audio betrug mit Bolt Q4 und TTS 1,70 Sekunden, verglichen mit 0,72 Sekunden bei zwischengespeicherten Antworten. Die Erkennung des Sprachendes wartet derzeit 300 Millisekunden auf Stille.
Das visuelle System umfasst außerdem eine optionale KI-gestützte Wahrnehmung. Nemotron 3 Nano Omni kann Kostüme anhand von Kamerabildern beschreiben, während YOLO und ByteTrack Personen im Sichtfeld zählen und verfolgen. In einem synthetischen Test mit fünf kostümierten Schafen identifizierte die gespeicherte Analyse Pirat-, Vampir-, Hexen-, Kürbis- und Geisterkostüme. Der Test war kein Beleg für die Leistung mit echten Halloween-Besuchern, und das Projekt muss noch unter realen Bedingungen in einer Auffahrt und bei Nachtbeleuchtung getestet werden.
MonsterHouse läuft auf einer einzigen Workstation. Die Sprach- und Voice-Pipeline ist einer NVIDIA RTX PRO 6000 Blackwell Max-Q zugewiesen, während die Unreal-Engine-Grafik mit Audio2Face-3D von einer NVIDIA RTX PRO 4000 Blackwell verarbeitet wird. Die Aufteilung der Arbeitslast auf die beiden GPUs soll die Animationsbildrate stabil halten, während die Gesprächspipeline arbeitet.
Eine eigens entwickelte Steuerungsoberfläche bietet Zugriff auf zwischengespeicherte Zeilen, Eröffnungsstimmungen, Gesprächsablauf, Sprachbearbeitung, Mundanimation, Kamerabilder und Leistungsüberwachung. Sie umfasst außerdem Live-, Demo- und Mikrofonmodi. Im Mikrofonmodus kann eine Person direkt durch das Haus sprechen und dabei Spracherkennung, Dialogerzeugung und Sprachsynthese umgehen, während weiterhin die Mundbewegungen gesteuert und die Stimmeffekte angewendet werden.
Der Code des Projekts ist nicht für eine Veröffentlichung paketiert, doch die im System verwendeten NVIDIA-Modelle sind verfügbar. Als Ausgangspunkt wird das Beispiel „Generic Assistant“ von NVIDIA Nemotron Voice Agent vorgeschlagen, das Spracherkennung, ein LLM, Magpie TTS, Spracherkennung von Aktivität sowie die Verarbeitung des Äußerungsendes kombiniert. Von dort aus können Entwickler Bolt E4B für lokale Dialoge verwenden, der Figur durch Prompts oder einen LoRA-Adapter eine Persönlichkeit geben, ihr mit Magpie TTS Zeroshot eine Stimme verleihen und sie mit Audio2Face-3D animieren.
Der Entwickler sagt, dass das Projekt noch weitere Animationsarbeiten, vollständige Tests mit echten Besuchern und eine automatisierte Möglichkeit zur Verteilung von Süßigkeiten benötigt. Das längerfristige Ziel besteht darin, das Haus Halloween eigenständig ablaufen zu lassen, während zwischengespeicherte Antworten ähnlichen Installationen den Betrieb auf weniger leistungsfähiger Hardware ermöglichen könnten.
Quellen: Hugging Face Blog.