Nvidia a publié Nemotron 3.5 Transcribe, un modèle vocal à poids ouverts conçu pour la transcription, l’attribution des locuteurs, la traduction et les questions-réponses sur des contenus audio. Disponible sur Hugging Face et ModelScope, il peut traiter des enregistrements d’une durée maximale d’une heure et identifier jusqu’à huit locuteurs.

Le modèle transcrit 40 langues, traduit 31 langues vers l’anglais ou depuis l’anglais, et prend en charge l’attribution des locuteurs dans 13 langues. Les utilisateurs peuvent orienter ses résultats au moyen de consignes en langage naturel, notamment pour demander l’étiquetage des locuteurs, la traduction d’un enregistrement ou des réponses à des questions sur son contenu. Il prend également en charge les horodatages au niveau des mots. NVIDIA précise que la couverture linguistique varie selon la tâche et que le modèle a été entraîné pour répondre aux questions sur des contenus audio en anglais.

Selon NVIDIA, Nemotron 3.5 Transcribe se classe au premier rang des modèles à poids ouverts du classement anglais Hugging Face Open ASR Leaderboard, avec un taux d’erreur moyen par mot (WER) de 5,33 %. La fiche du modèle indique également le WER le plus faible parmi les systèmes à poids ouverts évalués dans ses comparaisons pour la transcription multilingue et la transcription de longs enregistrements. Dans l’évaluation de conversion de la parole en texte d’Artificial Analysis, il est ex æquo à la première place parmi les modèles à poids ouverts, avec un AA-WER de 2,8 %, en utilisant environ 4 milliards de paramètres actifs par jeton.

Le modèle s’est également classé premier dans deux comparaisons d’attribution des locuteurs citées par NVIDIA. Sur le benchmark de diarisation en 21 langues de David AI, il a enregistré un taux d’erreur de diarisation de 18,26 %. Dans la comparaison de 14 systèmes de VoiceArena, il a obtenu le plus faible WER à permutation minimale concaténée, soit 32,4 %.

Les versions quantifiées sont compatibles avec un déploiement local sur des systèmes tels que RTX Spark, DGX Spark et Jetson AGX Thor, tandis que les déploiements de plus grande ampleur peuvent utiliser des GPU de centre de données Blackwell. NVIDIA indique que, lors d’un benchmark utilisant une version quantifiée NVFP4 à venir, le modèle a traité 100 heures d’audio en moins de trois minutes sur un seul GPU RTX PRO 6000 Blackwell Server Edition. L’entreprise précise que le modèle est destiné aux enregistrements audio et non à la diffusion en direct.

Parallèlement au modèle, NVIDIA a publié Granary v2, une collection de données vocales multilingues assortie d’un pipeline de curation réutilisable, avec des manifestes disponibles sur Hugging Face et ModelScope. Le manifeste public couvre 463 062 heures réparties sur 48 langues et 16 corpus sources. La collection comprend plusieurs formats de transcription, ainsi que des étiquettes et des données pour des tâches telles que la traduction et la reconnaissance vocale contextuelle. NVIDIA précise que ces chiffres décrivent la version publiée du jeu de données, et non l’ensemble complet des données d’entraînement de Nemotron 3.5 Transcribe.

Les développeurs peuvent utiliser Granary v2 et les outils vocaux NVIDIA NeMo pour adapter le modèle aux vocabulaires spécialisés et aux conventions de transcription. Dans une étude de cas sur la parole médicale utilisant des enregistrements de médecins et d’étudiants en médecine indiens, la meilleure consigne a réduit le WER sur les locuteurs retenus pour l’évaluation, de 22,44 % à 12,17 % après le réglage fin, soit une réduction relative de 45,8 %. L’étude a également constaté une légère hausse du WER sur LibriSpeech test-clean, de 1,54 % à 1,69 %.

NVIDIA recommande de vérifier les noms, les changements de locuteur et les réponses générées en les comparant à l’enregistrement original. L’entreprise met à disposition le modèle, les manifestes de données et les ressources de réglage fin sur Hugging Face et ModelScope. Les options de déploiement incluent vLLM et SGLang-Omni, ainsi que les points de terminaison hébergés de Baseten, DeepInfra et Simplismart.

Sources: Hugging Face Blog.