英文原标题:Deploying real-time personalized speech with Qwen3-TTS on Amazon SageMaker AI

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • Qwen3-TTS-12Hz-1.7B-Base 是阿里云 Qwen 团队开发的开源文本转语音模型,支持 10 种语言(中、英、日、韩、德、法、俄、葡、西、意),采用 Qwen3-TTS-Tokenizer-12Hz 语音分词器,并支持流式生成以实现低延迟交互。
  • 该模型支持语音克隆:只需几秒参考音频及其转录文本,即可捕捉说话人的音色、音高和节奏等特征,将新文本用参考说话人的声音合成,无需重新训练;还支持跨语言克隆,即用一种语言的参考声音生成另一种语言的语音。
  • 该模型已上架 Amazon SageMaker JumpStart,可与 Qwen3-TTS-12Hz-1.7B-CustomVoice 和 Qwen3-ASR-1.7B 一同使用;通过 SageMaker Python SDK 构建 JumpStartModel 对象并调用 deploy 方法,即可部署到全托管实时推理端点,无需编写自定义推理处理程序。
  • 部署时需正确配置 GPU 内存:模型在同一 GPU 上分 talker 和 code2wav 两个阶段运行,vLLM 根据 gpu_memory_utilization 预先保留显存,两个阶段共享一个 GPU,需将合计预留控制在 GPU 容量内,示例中该值设为 0.45。
  • 该方案的优势包括:按计算用量而非按字符 API 定价控制成本、音频数据保留在自有 AWS 账户内、可针对特定领域微调模型;适用于内容本地化、客户体验、在线教育、有声书、创意原型和实时对话 AI 等场景。

关键数据

  • 模型名称:Qwen3-TTS-12Hz-1.7B-Base,参数量 1.7B
  • 支持 10 种语言:中文、英语、日语、韩语、德语、法语、俄语、葡萄牙语、西班牙语、意大利语
  • 输出音频采样率为 24 kHz
  • 示例使用 ml.g6.4xlarge 实例(1 块 NVIDIA L4 GPU,24 GB 显存)
  • GPU 内存利用率设置示例:SM_VLLM_GPU_MEMORY_UTILIZATION=0.45
  • 模型版本:1.0.1

为什么值得看:本文提供了将开源语音克隆模型 Qwen3-TTS 部署到 Amazon SageMaker AI 全托管实时端点的完整实践指南,涵盖 GPU 内存配置等关键细节,帮助开发者在自有 AWS 环境中实现个性化、多语言的语音合成。

站内导航