英文原标题:NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt

本文为英文原文的机器翻译摘要,原文见:Hugging Face Blog ↗

  • NVIDIA 发布开源权重模型 Nemotron 3.5 Transcribe,一个 checkpoint 同时支持转录、说话人分离、翻译和音频问答,可通过自然语言提示控制输出。
  • 模型支持 40 种语言转录、31 种语言与英语互译、13 种语言说话人分离,可处理长达一小时的录音并标记最多 8 位说话人。
  • 在 Hugging Face Open ASR Leaderboard 英语开放权重模型中排名第一,平均 WER 为 5.33%;在 Artificial Analysis 的 AA-WER 指标上以 2.8% 并列开放权重模型第一,活跃参数约 4B。
  • 在说话人分离方面,于 David AI 21 语言基准上取得最低 DER 18.26%,在 VoiceArena 14 系统比较中 cpWER 最低(32.4%),且删除词比例仅 8.32%。
  • 同步开源 Granary v2 多语言数据与整理流程,并提供 NeMo Speech 微调工具;医疗案例中微调后 WER 相对最佳提示降低 45.8%。

关键数据

  • 英语平均 WER 5.33%
  • 多语言平均 WER 4.62%(7 种语言)
  • 长音频平均 WER 10.98%
  • AA-WER 2.8%,活跃参数约 4B(总参数 30B)
  • AA-AgentTalk 上 WER 1.8%
  • David AI 21 语言 DER 18.26%
  • VoiceArena cpWER 32.4%,删除词比例 8.32%
  • 医疗微调后 WER 相对最佳提示降低 45.8%

引语

  • Transcribe this recording and label each speaker.
  • Translate this audio into English.
  • What decisions were made in this meeting?

为什么值得看:该模型以单一开源权重 checkpoint 整合转录、说话人分离、翻译和音频问答,并在多个基准领先,同时提供数据与微调工具,便于企业按领域适配。

站内导航