英文原标题:Keep inference running through regional capacity shortfalls with cross-Region inference routing in Amazon SageMaker AI

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • Amazon SageMaker AI 推出跨区域推理路由功能,通过新的推理路由器资源,让应用使用单一调用路径访问多个区域和账户中的端点或推理组件。
  • 路由器优先将请求保留在自身所在区域,当本地目标健康度下降时,将新请求转移到其他已注册目标,并在恢复后逐步将流量迁回。
  • 健康度基于近期请求计算,5xx错误、限流和超时降低分数,平台错误影响最大,请求本身错误不影响;模型延迟不作为输入。
  • 健康状态分为健康、过载和降级三种,发布到 Amazon CloudWatch;故障转移阈值和时机由 SageMaker AI 管理,无需手动调优。
  • 实时请求在未运行模型的情况下失败时,路由器会在另一目标上重试一次;异步请求则按本地优先顺序尝试每个合格目标。

关键数据

  • 流量在持续错误后约一分钟内开始转移,恢复后流量在数分钟内逐步返回。
  • 路由器将每个目标的健康状态发布到 Amazon CloudWatch,状态包括健康、过载和降级。
  • 实时请求仅在模型未运行时重试一次,超时、500错误和模型错误不会重试。

为什么值得看:该功能解决了跨区域推理中手动构建故障转移和流量管理代码的运维难题,帮助应用在区域容量短缺时保持服务可用。

站内导航