英文原标题:Amazon SageMaker Inference: 2026 launches in review, part 2

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • 文章以假设团队为例,说明生产环境中的常见问题:如何选择配置、在已有GPU上部署更多模型、处理超大模型、跨区域路由请求以及排查延迟上升。
  • HyperPod Inference新增路由策略、支持更多模型服务框架并扩展多区域网络;Inference Gateway负责路由,托管NVIDIA Dynamo作为新服务框架。
  • 推理推荐功能从API扩展到SageMaker AI Studio(2026年7月)、SageMaker Python SDK v3(2026年8月),并新增对LoRA适配器的支持(2026年9月)和基于SLA的并发搜索(2026年9月)。
  • 2026年10月推出aws-ai-ml agent skill,让编码代理(如Kiro)能根据实测性能推荐实例、基准测试在线端点并比较运行结果,设置约需10分钟。
  • 托管端点路线图指向与AWS AI生态更深度集成,端点现已支持跨区域和跨账户路由请求。

关键数据

  • 假设团队使用70B参数模型,目标峰值负载下TTFT为500毫秒。
  • SageMaker Python SDK v3版本3.17.0及以后支持推理推荐。
  • 并发搜索使用search_recipe设为max-concurrency-under-sla,返回feasible_max或infeasible_min。
  • agent skill设置约需10分钟。

为什么值得看:文章系统梳理了2026年SageMaker推理在生产环境中的关键更新,帮助团队优化配置、控制成本并利用编码代理提升效率。

站内导航