在 AWS 上构建超低延迟语音 AI 应用

英文原标题：Building ultra-low-latency voice AI applications on AWS

本文为英文原文的机器翻译摘要，原文见：AWS Machine Learning Blog ↗

• 实时语音AI对延迟要求极高，传统Transformer架构因需处理完整序列而难以实现流式低延迟，State Space Models（SSM）通过逐步处理并保持紧凑内部状态，解决了质量与延迟的权衡。
• Cartesia基于SSM构建了Sonic（文本转语音）和Ink（语音转文本）两个模型，均实现低于100毫秒的首字节延迟，适用于联络中心、远程医疗、游戏、无障碍和销售等场景。
• Sonic支持约90毫秒首音频字节、44种以上语言、10秒音频样本克隆声音，并具有流式原生架构和上下文感知合成能力。
• Ink具备原生轮次检测、上下文感知断句、流式转录、噪声鲁棒性和多说话人支持，无需单独的VAD模型即可减少对话中的尴尬停顿。
• 在AWS上部署Sonic可通过AWS Marketplace的SageMaker AI模型包在用户VPC内运行，确保数据不离开账户；Ink目前通过Cartesia API提供，也可在AWS Marketplace购买。

关键数据

• Sonic首音频字节延迟约90毫秒
• Sonic和Ink均优化至低于100毫秒首字节延迟
• Sonic支持超过44种语言
• 声音克隆仅需10秒音频样本
• 支持的SageMaker实例类型包括ml.g6e.xlarge及以上、ml.g7e.2xlarge及以上、ml.g7.2xlarge及以上、ml.p5.48xlarge、ml.p5en.48xlarge

引语

• First audio byte in approximately 90ms
• sub-100ms first-byte latency

为什么值得看：该文展示了如何利用SSM架构和AWS基础设施实现接近人类对话节奏的超低延迟语音AI，为开发者构建自然语音交互应用提供了可落地的部署方案。