英文原标题:Cost-optimizing AssemblyAI speech-to-text inference on AWS with Amazon EC2 Spot

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • AssemblyAI 的语音转文字推理依赖 GPU 深度学习流水线,规模大时需数千台 GPU 实例持续运行,全用 On-Demand 成本过高,因此采用 Amazon EC2 Spot 实例并设计能吸收中断的架构。
  • 架构基于 Amazon ECS,通过容量提供者混合 Spot 与 On-Demand 实例,并跨 g4dn、g5、g6 三种 NVIDIA GPU 实例家族及多个可用区分散 Spot 容量,使用 price-capacity optimized 分配策略降低中断概率。
  • 使用 Amazon SQS 实现队列式重试:Spot 中断前有 2 分钟通知,能完成的任务正常结束,其余任务返回队列由其他健康实例接手;EventBridge 触发 Lambda 处理中断,CloudWatch 监控集群与中断事件。
  • 为满足医疗、金融、法律等受监管行业的数据驻留要求,AssemblyAI 在 us-west-2 和 eu-west-2 等区域部署完全独立的推理架构,包括各自的 SQS 队列、ECS 集群和 GPU 资源池。
  • 结果显示,相比 On-Demand 定价,Spot 方案节省 70% 的推理计算成本;在计算需求同比增长近 4 倍的情况下,单位经济效益仍保持可持续。

关键数据

  • Spot 中断通知提前 2 分钟
  • 使用 g4dn.xlarge、g4dn.2xlarge、g5.xlarge、g5.4xlarge、g6.2xlarge 等实例类型
  • 单个推理任务通常耗时 15 秒到数分钟
  • 自定义 AMI 包含模型产物和容器镜像,创建约需 2 分钟
  • 相比 On-Demand 定价节省 70% 推理计算成本
  • 计算需求同比增长近 4 倍
  • 部署区域包括 us-west-2 和 eu-west-2

为什么值得看:该案例展示了如何用 Spot 实例、ECS 容量提供者和 SQS 重试机制,在维持 SLA 和数据驻留要求的同时大幅降低大规模 GPU 推理成本。

站内导航