英文原标题:Granite Speech 5.0: Transcribe, Translate, and Attribute more Accurately and Faster

本文为英文原文的机器翻译摘要,原文见:Hugging Face Blog ↗

  • IBM 发布 Granite Speech 系列三项更新:新模型 granite-speech-5.0-2b,以及更新版 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus,覆盖高精度转写翻译、边缘极速转写和多说话人录音场景。
  • granite-speech-5.0-2b 在相同参数量下取代 4.1-2b,支持英语、法语、德语、西班牙语、葡萄牙语和日语的转写,并与英语互译,另支持英语到意大利语和普通话;训练数据含 39 万小时公开音频及合成数据。
  • 5.0-2b 新增语言 ID 提示、最多 2000 词的关键词偏置、按需标点和大小写,并提升长语音和对话翻译表现;在 Open ASR Leaderboard 英语短语音平均 WER 为 5.06%,位列开源权重 ASR 模型第二。
  • granite-speech-5.0-470m-turboctc 从英语单语扩展为多语言,原生输出标点和大小写,并增强对混响和远场音频的鲁棒性;通过复用单个 Conformer 块的计算图,RTFx 提升至 19,870,约为发布时 12,600 的 1.6 倍。
  • granite-speech-4.1-2b-plus 保持架构、提示格式和 API 不变,可无缝替换旧版;说话人归属 WDER 和 cpWER 均下降 7%,时间戳平均偏移减半以上,长语音 WER 下降 24%,20 词关键词偏置错误率下降 45%。

关键数据

  • granite-speech-5.0-2b 训练数据:390,000 小时公开音频
  • 5.0-2b 英语短语音平均 WER 5.06%,开源权重 ASR 模型排名第 2
  • 5.0-2b 大小写 F1 范围 89.7 至 99.5
  • Turbo CTC RTFx 从约 12,600 提升至 19,870,约 1.6 倍
  • 4.1-2b-plus 时间戳 AAS 从 210.86 降至 98.54
  • 4.1-2b-plus 长语音 WER 从 13.53 降至 10.22
  • 4.1-2b-plus 20 词关键词偏置 WER 从 11.79 降至 6.48
  • 4.1-2b-plus WDER 从 4.40 降至 4.10,cpWER 从 30.50 降至 28.48

引语

  • about 1.6x faster, at the same accuracy level

为什么值得看:这三款模型覆盖企业语音工作的高精度转写翻译、边缘高速转写和多说话人归属,且均以 Apache 2.0 许可发布并原生支持 Transformers,便于企业按场景选型部署。

站内导航