英文原标题:Introducing Amazon SageMaker HyperPod Global Inference Gateway: One endpoint across Regions and clusters

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • SageMaker HyperPod 推出 Global Inference Gateway,作为托管网关,可跨多个集群(包括跨 Region)路由请求,提供单一端点。
  • 该网关基于四个信号(KVHeadroom、QueueDepth、RegionProximity、ErrorRate)对健康集群评分,并支持自定义权重(总和为1.0),默认权重偏向就近 Region。
  • 请求通过 AWS PrivateLink 在 AWS 骨干网上传输,使用 SigV4 和 IAM 进行认证,并自动故障转移;集群需先发布(启用 globalRouting)才能被网关路由。
  • 客户 Bagelcode 反馈,在 beta 测试中,该网关通过单一端点跨两个 Region 路由请求,并在一个集群无法服务时保持服务,无需自建路由层。
  • 设置网关需两步:发布集群(每个集群一次)和创建网关(每个网关一次),AWS 负责路由集群、私有连接、证书验证、健康检查等运维工作。

关键数据

  • 默认权重:KVHeadroom 0.20,QueueDepth 0.25,RegionProximity 0.40,ErrorRate 0.15。
  • 权重取值范围 0.0 到 1.0,若设置则四个权重之和必须为 1.0。
  • 示例:团队在 2 个 Region 的 5 个集群上服务 4 个模型,无网关时需管理 20 个端点,使用 Inference Gateway 后减至 5 个。

为什么值得看:它解决了跨集群和跨 Region 的 GPU 容量利用与自动故障转移问题,让客户无需自建负载均衡和跨 Region 网络即可使用单一端点。

站内导航