英文原标题:How Salesforce is advancing global-scale model serving with cross-Region inference routing in Amazon SageMaker AI

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • Salesforce 的 Agentforce Foundation 团队在 30 多个全球区域为 Agentforce 和 Trust Layer 等产品提供多种模型服务,包括自研和开源模型。此前在每个区域单独托管模型导致容量分散,流量高峰时难以吸收,容量短缺会演变为可用性问题。
  • 在 SageMaker AI 跨区域推理路由推出前,Salesforce 通过内部网关将本地端点无法处理的流量转发到其他区域,但该方案缺乏容量信号,且跨区域流量需经 NAT 网关和互联网网关走公共网络,存在级联故障风险。
  • SageMaker AI 推理路由器是区域级资源,应用程序调用路由器而非直接调用端点,通过路由目标名称指定逻辑模型,目标可包含不同区域或账户的端点 ARN。路由器优先使用本地区域,根据近期请求结果判断目的地健康度,出现平台故障、5xx 错误、限流或超时后逐步将流量转移到健康目的地,恢复后缓慢回切。
  • Salesforce 将路由器集成到内部网关的每请求出口路径中,位于数据驻留检查之后。带驻留要求的请求固定到本区域路由目标,不会跨边界故障转移;其他请求交给路由器处理,容量感知、健康评估和故障转移逻辑从 Salesforce 代码移至路由层。
  • Salesforce 将响应中的 InvokedRoutedResourceArn 和 RoutingReason 作为一级遥测数据,与请求 ID、跟踪 ID 一起记录并作为 APM 标签,便于判断请求在本地还是跨边界运行及原因。网关超时考虑跨区域往返延迟,且因路由器已重试一次,网关不再添加重试。

关键数据

  • 30+ 全球区域
  • 数百个 AWS 账户
  • 路由器通常在约一分钟内开始转移流量
  • 恢复后流量在数分钟内回切
  • 示例中使用 us-west-2 和 us-east-2 区域

引语

  • “将流量转移到下一个区域可能会使下一个区域过载”
  • “路由器优先使用其所在区域”

为什么值得看:该案例展示了如何通过 SageMaker AI 的跨区域推理路由,在遵守数据驻留承诺的前提下,以托管方式实现容量感知的故障转移,解决全球规模模型服务的容量碎片化和可用性问题。

站内导航