MonsterHouse è una proiezione interattiva di Halloween progettata per rendere una casa il centro dell’esperienza del «dolcetto o scherzetto». Invece di limitarsi a mostrare decorazioni, la porta del garage ascolta i visitatori, risponde come una vecchia e burbera nave pirata e diventa gradualmente più amichevole quando usano le buone maniere.

Il sistema è basato su NVIDIA Nemotron Voice Agent. Nemotron 3 ASR converte il parlato dei visitatori in testo, mentre la versione a 4 bit di Nemotron 3.5 Bolt E4B genera le risposte. Un adattatore LoRA conferisce al modello linguistico la personalità di un edificio scorbutico costruito con il legname di una nave pirata affondata.

Magpie TTS Zeroshot converte ogni risposta in parlato utilizzando brevi campioni di riferimento registrati per diversi stati d’animo. La casa può passare da uno stile emotivo all’altro tra sette opzioni, che vanno da burbero e minaccioso a divertito e deliziato. Audio2Face-3D trasforma quindi il segnale vocale pulito in animazione della bocca all’interno di una scena di Unreal Engine 5, mentre un flusso audio separato aggiunge gli effetti profondi e riecheggianti uditi dai visitatori.

L’interazione segue una progressione pianificata. Inizialmente, la casa può liquidare chi fa «dolcetto o scherzetto» con delle lamentele, ma la perseveranza può conquistarla. Dire «per favore» può cambiare immediatamente lo scambio, mentre «grazie» fa guadagnare un congedo più caloroso. Lo stato della conversazione viene tracciato dall’applicazione, così la casa ricorda come si è sviluppato l’incontro.

Il creatore ha testato più di una dozzina di modelli linguistici prima di scegliere Bolt E4B per il dialogo in tempo reale. Un dataset contenente più di 5.000 conversazioni a più turni è stato utilizzato per addestrare e valutare gli adattatori LoRA. Il sistema utilizza inoltre prompt e logica applicativa per mantenere il tono, la continuità e i tempi del personaggio senza rendere la casa interminabilmente litigiosa.

La velocità è stata un’altra considerazione importante. La pipeline può rilasciare il testo prima che sia stata generata una risposta completa, consentendo alla casa di iniziare a parlare mentre il resto della frase viene ancora prodotto. Saluti preparati e audio memorizzato nella cache gestiscono più rapidamente gli incontri comuni. Il ritardo mediano riportato dalla fine del parlato di un visitatore all’audio generato era di 1,70 secondi con Bolt Q4 e TTS, rispetto a 0,72 secondi per le risposte memorizzate nella cache. Il rilevamento della fine del parlato attende attualmente 300 millisecondi di silenzio.

Il sistema visivo comprende anche una percezione opzionale basata sull’IA. Nemotron 3 Nano Omni può descrivere i costumi a partire dalle immagini della videocamera, mentre YOLO e ByteTrack contano e tracciano le persone presenti nel campo visivo. In un test sintetico condotto utilizzando cinque pecore in costume, l’analisi salvata ha identificato costumi da pirata, vampiro, strega, zucca e fantasma. Il test non costituiva una prova delle prestazioni con veri visitatori di Halloween, e il progetto richiede ancora test in condizioni reali di vialetto e con illuminazione notturna.

MonsterHouse funziona su una singola workstation, con la pipeline linguistica e vocale assegnata a una NVIDIA RTX PRO 6000 Blackwell Max-Q e la grafica di Unreal Engine con Audio2Face-3D gestita da una NVIDIA RTX PRO 4000 Blackwell. Dividere il carico di lavoro tra le GPU ha lo scopo di mantenere stabile la frequenza dei fotogrammi dell’animazione mentre la pipeline conversazionale è in elaborazione.

Un’interfaccia di controllo personalizzata consente di accedere alle battute memorizzate nella cache, agli stati d’animo iniziali, al flusso della conversazione, al trattamento della voce, all’animazione della bocca, ai feed delle videocamere e al monitoraggio delle prestazioni. Include inoltre le modalità live, demo e microfono. In modalità microfono, una persona può parlare direttamente attraverso la casa, bypassando il riconoscimento vocale, la generazione del dialogo e la sintesi vocale, pur continuando ad animare la bocca e ad applicare gli effetti vocali.

Il codice del progetto non è preparato per la distribuzione, ma i modelli NVIDIA utilizzati nel sistema sono disponibili. Il punto di partenza suggerito è l’esempio Generic Assistant di NVIDIA Nemotron Voice Agent, che combina riconoscimento vocale, un LLM, Magpie TTS, rilevamento dell’attività vocale e gestione della fine dell’enunciato. Da lì, gli sviluppatori possono utilizzare Bolt E4B per il dialogo locale, aggiungere una personalità tramite prompt o un adattatore LoRA, dare al personaggio una voce con Magpie TTS Zeroshot e animarlo con Audio2Face-3D.

Il creatore afferma che il progetto necessita ancora di ulteriore lavoro sull’animazione, di test completi con visitatori reali e di un metodo automatizzato per distribuire le caramelle. L’obiettivo a lungo termine è permettere alla casa di gestire Halloween in autonomia, mentre le risposte memorizzate nella cache potrebbero aiutare installazioni simili a funzionare su hardware più limitato.

Fonti: Hugging Face Blog.