Nvidia hat Nemotron 3.5 Transcribe veröffentlicht, ein Sprachmodell mit offenen Gewichten für Transkription, Sprecherzuordnung, Übersetzung und die Beantwortung von Fragen zu Audioinhalten. Das Modell ist über Hugging Face und ModelScope verfügbar, kann Aufnahmen von bis zu einer Stunde verarbeiten und bis zu acht Sprecher identifizieren.

Das Modell transkribiert 40 Sprachen, übersetzt 31 Sprachen ins Englische oder aus dem Englischen und unterstützt die Sprecherzuordnung in 13 Sprachen. Nutzer können die Ausgabe mit Eingabeaufforderungen in natürlicher Sprache steuern, etwa mit der Bitte, Sprecher zu kennzeichnen, eine Aufnahme zu übersetzen oder Fragen zu ihrem Inhalt zu beantworten. Außerdem unterstützt das Modell Zeitstempel auf Wortebene. NVIDIA weist darauf hin, dass die Sprachabdeckung je nach Aufgabe variiert und das Beantworten von Fragen zu Audioinhalten auf Englisch trainiert wurde.

NVIDIA zufolge belegt Nemotron 3.5 Transcribe unter den Modellen mit offenen Gewichten den ersten Platz auf der englischsprachigen Hugging-Face-Open-ASR-Bestenliste, mit einer durchschnittlichen Wortfehlerrate (WER) von 5,33 %. Die Modellkarte weist in den Vergleichen des Unternehmens außerdem die niedrigste WER unter den bewerteten Modellen mit offenen Gewichten bei mehrsprachiger und längerer Transkription aus. In der Speech-to-Text-Bewertung von Artificial Analysis liegt das Modell mit 2,8 % AA-WER gleichauf auf dem ersten Platz unter den Modellen mit offenen Gewichten und verwendet etwa 4 Milliarden aktive Parameter pro Token.

Das Modell belegte auch in zwei von NVIDIA angeführten Vergleichen zur Sprecherzuordnung den ersten Platz. Auf dem 21-sprachigen Diarisierungs-Benchmark von David AI erzielte es eine Diarisierungsfehlerrate von 18,26 %. Im Vergleich von 14 Systemen durch VoiceArena erreichte es mit 32,4 % die niedrigste WER nach Konkatenierung und minimaler Permutation.

Für die lokale Bereitstellung werden quantisierte Versionen auf Systemen wie RTX Spark, DGX Spark und Jetson AGX Thor unterstützt; größere Bereitstellungen können Blackwell-Rechenzentrums-GPUs nutzen. NVIDIA zufolge verarbeitete das Modell in einem Benchmark 100 Stunden Audio in weniger als drei Minuten auf einer einzelnen RTX PRO 6000 Blackwell Server Edition GPU. Dabei kam eine demnächst verfügbare quantisierte NVFP4-Version zum Einsatz. Das Unternehmen beschreibt das Modell als für aufgezeichnetes Audio und nicht für Live-Streaming vorgesehen.

Zusammen mit dem Modell veröffentlichte NVIDIA Granary v2, eine mehrsprachige Sprachdatensammlung mit wiederverwendbarer Aufbereitungspipeline. Die Manifeste sind auf Hugging Face und ModelScope verfügbar. Das öffentliche Manifest umfasst 463.062 Stunden in 48 Sprachen und 16 Quelldatensammlungen. Die Sammlung enthält mehrere Transkriptformate sowie Kennzeichnungen und Daten für Aufgaben wie Übersetzung und kontextbezogene Spracherkennung. NVIDIA stellt klar, dass diese Zahlen die veröffentlichte Datensammlung beschreiben und nicht die vollständige Trainingsmischung für Nemotron 3.5 Transcribe.

Entwickler können Granary v2 und die Sprachwerkzeuge von NVIDIA NeMo verwenden, um das Modell an Fachvokabular und Transkriptionskonventionen anzupassen. In einer Fallstudie zu medizinischer Sprache mit Aufnahmen indischer Ärzte und Medizinstudierender senkte die beste Eingabeaufforderung nach der Feinabstimmung die WER bei den zurückgehaltenen Sprechern von 22,44 % auf 12,17 %, eine relative Verringerung um 45,8 %. Die Studie stellte außerdem einen leichten Anstieg der WER bei LibriSpeech test-clean fest, von 1,54 % auf 1,69 %.

NVIDIA empfiehlt, Namen, Sprecherwechsel und generierte Antworten anhand der Originalaufnahme zu überprüfen. Das Unternehmen stellt das Modell, die Datenmanifeste und die Ressourcen zur Feinabstimmung über Hugging Face und ModelScope bereit. Zu den Bereitstellungsoptionen gehören vLLM und SGLang-Omni sowie gehostete Endpunkte von Baseten, DeepInfra und Simplismart.

Quellen: Hugging Face Blog.