英文原标题:NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt
本文为英文原文的机器翻译摘要,原文见:Hugging Face Blog ↗
- NVIDIA 发布开源权重模型 Nemotron 3.5 Transcribe,一个 checkpoint 同时支持转录、说话人分离、翻译和音频问答,可通过自然语言提示控制输出。
- 模型支持 40 种语言转录、31 种语言与英语互译、13 种语言说话人分离,可处理长达一小时的录音并标记最多 8 位说话人。
- 在 Hugging Face Open ASR Leaderboard 英语开放权重模型中排名第一,平均 WER 为 5.33%;在 Artificial Analysis 的 AA-WER 指标上以 2.8% 并列开放权重模型第一,活跃参数约 4B。
- 在说话人分离方面,于 David AI 21 语言基准上取得最低 DER 18.26%,在 VoiceArena 14 系统比较中 cpWER 最低(32.4%),且删除词比例仅 8.32%。
- 同步开源 Granary v2 多语言数据与整理流程,并提供 NeMo Speech 微调工具;医疗案例中微调后 WER 相对最佳提示降低 45.8%。
关键数据
- 英语平均 WER 5.33%
- 多语言平均 WER 4.62%(7 种语言)
- 长音频平均 WER 10.98%
- AA-WER 2.8%,活跃参数约 4B(总参数 30B)
- AA-AgentTalk 上 WER 1.8%
- David AI 21 语言 DER 18.26%
- VoiceArena cpWER 32.4%,删除词比例 8.32%
- 医疗微调后 WER 相对最佳提示降低 45.8%
引语
- Transcribe this recording and label each speaker.
- Translate this audio into English.
- What decisions were made in this meeting?
为什么值得看:该模型以单一开源权重 checkpoint 整合转录、说话人分离、翻译和音频问答,并在多个基准领先,同时提供数据与微调工具,便于企业按领域适配。