Deepgram 如何借助 AWS Trainium 大规模优化语音 AI

英文原标题：How Deepgram optimized voice AI at scale with AWS Trainium

本文为英文原文的机器翻译摘要，原文见：AWS Machine Learning Blog ↗

• Deepgram 的语音模型（包括语音转文本、文本转语音和语音代理）每年处理数万亿音频 token，服务超过 20 万开发者和 1400 家组织，客户可通过 Deepgram API 或 Amazon SageMaker AI 等自有环境使用。
• 为提升推理效率，Deepgram 与 AWS 合作将 Nova-3 语音转文本模型移植到 AWS Trainium2，用于联络中心分析和医疗转录等离线批处理工作负载。
• 移植过程从标准 PyTorch 代码开始，使用 TorchNeuron 和 torch.compile 编译，并通过 NKILib 融合内核及手写内核优化，最终在单个 trn2.3xlarge 实例上运行 8 个模型副本。
• 在离线吞吐型批处理负载上，该配置每美元处理的音频量比 Deepgram 此前使用的计算选项多 11% 至 70%（基于评估时的实例定价）。
• Deepgram 用 Rust 构建了数据并行运行时，直接通过 Neuron Runtime API 加载预编译的 NEFF，相比多进程 Python 基线吞吐量提升 7.5%，并消除了 Python 解释器和 GIL 开销。

关键数据

• 每年处理数万亿音频 token
• 服务超过 200,000 开发者和 1,400 家组织
• 单个 trn2.3xlarge 实例运行 8 个模型副本
• 每美元音频处理量提升 11–70%
• Rust 运行时相比多进程 Python 基线吞吐量提升 7.5%
• FFN 内核延迟降低 2.0 倍（batch size 96）
• Depthwise conv1d 内核加速 1.5 倍（batch size 96）
• Conv2d 模块在 batch size ≤32 时提升最高 50 倍

引语

• processed 11–70 percent more audio per dollar
• reproduced the reference token sequences exactly

为什么值得看：该案例展示了如何通过专用 AI 芯片和内核级优化显著降低语音 AI 的推理成本，对大规模部署语音模型的企业具有参考价值。