NVIDIA lanzó Nemotron 3.5 Transcribe, un modelo de habla de pesos abiertos diseñado para la transcripción, la atribución de hablantes, la traducción y las preguntas y respuestas sobre audio. Disponible a través de Hugging Face y ModelScope, puede procesar grabaciones de hasta una hora e identificar hasta ocho hablantes.
El modelo transcribe 40 idiomas, traduce 31 idiomas hacia o desde el inglés y admite la atribución de hablantes en 13. Los usuarios pueden orientar sus resultados con instrucciones en lenguaje natural, como solicitudes para etiquetar a los hablantes, traducir una grabación o responder preguntas sobre su contenido. También admite marcas de tiempo a nivel de palabra. NVIDIA señala que la cobertura de idiomas varía según la tarea y que el modelo se entrenó en inglés para responder preguntas sobre audio.
NVIDIA afirma que Nemotron 3.5 Transcribe ocupa el primer puesto entre los modelos de pesos abiertos en la clasificación English Open ASR Leaderboard de Hugging Face, con una tasa media de error por palabra (WER) del 5,33 %. La ficha del modelo también informa de que, en las comparaciones realizadas, obtuvo la WER más baja entre los sistemas de pesos abiertos evaluados para la transcripción multilingüe y de larga duración. En la evaluación de conversión de voz a texto de Artificial Analysis, empató en el primer puesto entre los modelos de pesos abiertos con un 2,8 % de AA-WER, utilizando unos 4.000 millones de parámetros activos por token.
El modelo también ocupó el primer puesto en dos comparaciones de atribución de hablantes citadas por NVIDIA. En la prueba comparativa de diarización de 21 idiomas de David AI, registró una tasa de error de diarización del 18,26 %. En la comparación de 14 sistemas de VoiceArena, obtuvo la menor WER de permutación mínima concatenada, del 32,4 %.
Las versiones cuantizadas admiten la implementación local en sistemas como RTX Spark, DGX Spark y Jetson AGX Thor, mientras que las implementaciones de mayor escala pueden utilizar GPU para centros de datos Blackwell. NVIDIA afirma que el modelo procesó 100 horas de audio en menos de tres minutos en una GPU RTX PRO 6000 Blackwell Server Edition, en una prueba comparativa realizada con una versión cuantizada NVFP4 que se publicará próximamente. La empresa describe el modelo como diseñado para audio grabado, no para transmisión en directo.
Junto con el modelo, NVIDIA publicó Granary v2, una colección multilingüe de datos de voz y un flujo de trabajo reutilizable de curación, cuyos manifiestos están disponibles en Hugging Face y ModelScope. El manifiesto público abarca 463.062 horas en 48 idiomas y 16 corpus de origen. La colección incluye varios formatos de transcripción, así como etiquetas y datos para tareas como la traducción y el reconocimiento de voz contextual. NVIDIA especifica que estas cifras describen la versión publicada del conjunto de datos, no la mezcla de entrenamiento completa de Nemotron 3.5 Transcribe.
Los desarrolladores pueden utilizar Granary v2 y las herramientas de voz NVIDIA NeMo para adaptar el modelo a vocabularios especializados y convenciones de transcripción. En un estudio de caso sobre habla médica que utilizó grabaciones de médicos y estudiantes de medicina de la India, la mejor instrucción redujo la WER de los hablantes reservados para la evaluación de 22,44 % a 12,17 % tras el ajuste fino, una reducción relativa del 45,8 %. El estudio también detectó un ligero aumento de la WER en LibriSpeech test-clean, del 1,54 % al 1,69 %.
NVIDIA recomienda verificar los nombres, los cambios de hablante y las respuestas generadas comparándolos con la grabación original. La empresa ofrece el modelo, los manifiestos de datos y los recursos de ajuste fino a través de Hugging Face y ModelScope, con opciones de servicio que incluyen vLLM y SGLang-Omni, y puntos de acceso alojados de Baseten, DeepInfra y Simplismart.
Fuentes: Hugging Face Blog.