新闻 · AWS Machine Learning Blog
Amazon SageMaker HyperPod 推理上的托管式 NVIDIA Dynamo
Amazon SageMaker HyperPod 推理现已支持 NVIDIA Dynamo 进行分布式推理,具备多节点与分离式服务、KV 感知路由以及自动故障恢复能力。无需自行构建编排层,即可跨多个节点服务大型模型。
en
新闻 · AWS Machine Learning Blog
Amazon SageMaker HyperPod 推理现已支持 NVIDIA Dynamo 进行分布式推理,具备多节点与分离式服务、KV 感知路由以及自动故障恢复能力。无需自行构建编排层,即可跨多个节点服务大型模型。
英文原标题:Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference
本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗
为什么值得看:该集成提供了在 SageMaker HyperPod 上部署和管理 NVIDIA Dynamo 的简化方式,并展示了分离式服务在吞吐量上的显著优势。