英文原标题:Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • Amazon SageMaker HyperPod Inference 新增对 NVIDIA Dynamo 的支持,结合 Dynamo 的分布式推理能力与 HyperPod 的基础设施管理,解决大模型部署中的 GPU 内存不足和提示处理与 token 生成协调问题。
  • Dynamo 是开源分布式推理框架,支持多节点部署、分离式预填充和解码、KV 感知路由,并可与 vLLM、SGLang、TensorRT-LLM 等引擎配合。HyperPod 提供 EFA 网络、GPU 调度和节点健康监控。
  • 集成通过 HyperPod Inference 附加组件安装 Dynamo CRD 及相关组件,包括 HyperPod Inference Operator、Dynamo operator、Grove、KAI Scheduler 和 AWS DLC。
  • 提供两种部署路径:自带 DynamoGraphDeployment(DGD)适合已有 Dynamo 用户;使用 InferenceEndpointConfig 的 dynamoSpec 适合 HyperPod 用户,支持 vLLM、SGLang 或 TensorRT-LLM,默认 vLLM。
  • 以 GLM-5.3 为例展示多节点聚合和分离式部署配置,并通过 SageMaker Runtime API 调用 OpenAI 兼容接口。基准测试显示,对于 Qwen3-235B,分离式服务吞吐量达到聚合式的 2.05 倍。

关键数据

  • GLM-5.3 的 FP8 权重超过单个 ml.p5.48xlarge 实例的 640 GB GPU 内存。
  • Qwen3-235B 基准测试使用两个 p5en.48xlarge 实例(16 块 H200 GPU),输入 4000 token,输出 200 token。
  • 分离式服务实现 207 输出 token/秒/GPU,聚合式为 101,并发分别为 80 和 32。
  • 分离式服务吞吐量是聚合式的 2.05 倍。

引语

  • 分离式服务实现了聚合式最高吞吐量的 2.05 倍:207 对 101 输出 token/秒/GPU

为什么值得看:该集成提供了在 SageMaker HyperPod 上部署和管理 NVIDIA Dynamo 的简化方式,并展示了分离式服务在吞吐量上的显著优势。

站内导航