A NVIDIA lançou o Nemotron 3.5 Transcribe, um modelo de fala de pesos abertos projetado para transcrição, identificação de locutores, tradução e respostas a perguntas sobre áudio. Disponível no Hugging Face e no ModelScope, ele pode processar gravações de até uma hora e identificar até oito locutores.
O modelo transcreve 40 idiomas, traduz 31 idiomas de ou para o inglês e oferece suporte à identificação de locutores em 13 idiomas. Os usuários podem orientar seus resultados com comandos em linguagem natural, incluindo pedidos para identificar locutores, traduzir uma gravação ou responder a perguntas sobre seu conteúdo. Ele também oferece suporte a marcações de tempo por palavra. A NVIDIA observa que a cobertura de idiomas varia conforme a tarefa e que o modelo foi treinado para responder a perguntas sobre áudio em inglês.
Segundo a NVIDIA, o Nemotron 3.5 Transcribe ocupa o primeiro lugar entre os modelos de pesos abertos no Hugging Face Open ASR Leaderboard em inglês, com uma taxa média de erro de palavras (WER) de 5,33%. O cartão do modelo também informa que, nas comparações realizadas, ele apresenta a menor WER entre os sistemas de pesos abertos avaliados para transcrição multilíngue e de formato longo. Na avaliação de conversão de fala em texto da Artificial Analysis, ele empata em primeiro lugar entre os modelos de pesos abertos, com 2,8% de AA-WER, usando cerca de 4 bilhões de parâmetros ativos por token.
O modelo também ficou em primeiro lugar em duas comparações de identificação de locutores citadas pela NVIDIA. No benchmark de diarização em 21 idiomas da David AI, registrou uma taxa de erro de diarização de 18,26%. Na comparação da VoiceArena entre 14 sistemas, alcançou a menor WER concatenada de permutação mínima, de 32,4%.
As versões quantizadas são compatíveis com a implantação local em sistemas que incluem RTX Spark, DGX Spark e Jetson AGX Thor, enquanto implantações maiores podem usar GPUs para data centers Blackwell. A NVIDIA afirma que, em um benchmark com uma versão quantizada NVFP4, cujo lançamento está previsto para breve, o modelo processou 100 horas de áudio em menos de três minutos usando uma GPU RTX PRO 6000 Blackwell Server Edition. A empresa descreve o modelo como destinado a áudio gravado, não a transmissões ao vivo.
Junto com o modelo, a NVIDIA lançou o Granary v2, uma coleção de dados de fala multilíngues e um pipeline reutilizável de curadoria, com manifestos disponíveis no Hugging Face e no ModelScope. O manifesto público cobre 463.062 horas em 48 idiomas e 16 corpora de origem. A coleção inclui vários formatos de transcrição, além de rótulos e dados para tarefas como tradução e reconhecimento de fala com contexto. A NVIDIA especifica que esses números descrevem a versão disponibilizada do conjunto de dados, não a mistura completa de treinamento do Nemotron 3.5 Transcribe.
Os desenvolvedores podem usar o Granary v2 e as ferramentas de fala NVIDIA NeMo para adaptar o modelo a vocabulários especializados e convenções de transcrição. Em um estudo de caso sobre fala médica, com gravações de médicos e estudantes de medicina indianos, o melhor comando reduziu a WER dos locutores reservados para teste de 22,44% para 12,17% após o ajuste fino, uma redução relativa de 45,8%. O estudo também constatou um ligeiro aumento da WER no LibriSpeech test-clean, de 1,54% para 1,69%.
A NVIDIA recomenda conferir nomes, mudanças de locutor e respostas geradas com base na gravação original. A empresa disponibiliza o modelo, os manifestos de dados e os recursos de ajuste fino no Hugging Face e no ModelScope, com opções de disponibilização que incluem vLLM e SGLang-Omni e endpoints hospedados da Baseten, DeepInfra e Simplismart.
Fontes: Hugging Face Blog.