Nemotron 3.5 Transcribe di NVIDIA combina il riconoscimento vocale multilingue con l’etichettatura dei parlanti

Nvidia ha rilasciato Nemotron 3.5 Transcribe, un modello vocale open-weight progettato per la trascrizione, l’attribuzione dei parlanti, la traduzione e la risposta a domande sull’audio. Disponibile tramite Hugging Face e ModelScope, può elaborare registrazioni della durata massima di un’ora e identificare fino a otto parlanti.

Il modello trascrive 40 lingue, ne traduce 31 da o verso l’inglese e supporta l’attribuzione dei parlanti in 13 lingue. Gli utenti possono guidarne i risultati con prompt in linguaggio naturale, per esempio chiedendo di etichettare i parlanti, tradurre una registrazione o rispondere a domande sul suo contenuto. Supporta anche i timestamp a livello di parola. NVIDIA osserva che la copertura linguistica varia a seconda dell’attività e che il sistema è stato addestrato in inglese per rispondere a domande sull’audio.

Secondo NVIDIA, Nemotron 3.5 Transcribe è al primo posto tra i modelli open-weight nella classifica English Open ASR Leaderboard di Hugging Face, con un tasso medio di errore sulle parole (WER) del 5,33%. La scheda del modello riporta inoltre il WER più basso tra i sistemi open-weight valutati nei confronti dell’azienda per la trascrizione multilingue e di contenuti lunghi. Nella valutazione speech-to-text di Artificial Analysis, è a pari merito al primo posto tra i modelli open-weight, con un AA-WER del 2,8%, utilizzando circa 4 miliardi di parametri attivi per token.

Il modello si è classificato al primo posto anche in due confronti sull’attribuzione dei parlanti citati da NVIDIA. Nel benchmark di diarizzazione multilingue di David AI, che copre 21 lingue, ha registrato un tasso di errore di diarizzazione del 18,26%. Nel confronto di VoiceArena tra 14 sistemi, ha ottenuto il più basso WER concatenato con permutazione minima, pari al 32,4%.

Le versioni quantizzate sono supportate per la distribuzione locale su sistemi come RTX Spark, DGX Spark e Jetson AGX Thor, mentre le distribuzioni più ampie possono utilizzare le GPU per data center Blackwell. NVIDIA afferma che, in un benchmark basato su una versione quantizzata NVFP4 di prossima uscita, il modello ha elaborato 100 ore di audio in meno di tre minuti su una singola GPU RTX PRO 6000 Blackwell Server Edition. L’azienda descrive il modello come destinato all’audio registrato, non alla trasmissione in diretta.

Insieme al modello, NVIDIA ha rilasciato Granary v2, una raccolta di dati vocali multilingue e una pipeline riutilizzabile per la loro selezione e organizzazione, con manifest disponibili su Hugging Face e ModelScope. Il manifest pubblico copre 463.062 ore in 48 lingue e 16 corpora di origine. La raccolta comprende diversi formati di trascrizione, oltre a etichette e dati per attività quali la traduzione e il riconoscimento vocale contestuale. NVIDIA precisa che queste cifre descrivono la versione del dataset rilasciata, non l’intero insieme di dati usato per addestrare Nemotron 3.5 Transcribe.

Gli sviluppatori possono usare Granary v2 e gli strumenti vocali NVIDIA NeMo per adattare il modello a vocabolari specialistici e convenzioni di trascrizione. In un caso di studio sulla trascrizione medica basato su registrazioni di medici e studenti di medicina indiani, dopo il fine-tuning il prompt migliore ha ridotto il WER sui parlanti esclusi dall’addestramento dal 22,44% al 12,17%, con una riduzione relativa del 45,8%. Lo studio ha anche rilevato un lieve aumento del WER sul test-clean di LibriSpeech, dall’1,54% all’1,69%.

NVIDIA raccomanda di verificare i nomi, i cambi di parlante e le risposte generate confrontandoli con la registrazione originale. L’azienda mette a disposizione il modello, i manifest dei dati e le risorse di fine-tuning tramite Hugging Face e ModelScope, con opzioni di serving che includono vLLM e SGLang-Omni e endpoint ospitati da Baseten, DeepInfra e Simplismart.

Fonti: Hugging Face Blog.