英文原标题:Amazon SageMaker AI now detects latency drift, idle GPUs, and missed optimizations on your inference endpoints

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • Amazon SageMaker AI 新增对生成式 AI 推理端点的监控功能,默认对使用 vLLM 容器和 GPU 实例的端点开启,无需设置,用户可选择退出。
  • 监控仅分析延迟、GPU 利用率和端点服务配置等运营信号,不读取请求或响应内容,且不产生额外 GPU 成本。
  • 系统会通过 AWS Health 发送三类发现:延迟漂移(p50 端到端延迟或首 token 时间周环比上升)、GPU 闲置(付费 GPU 大部分时间空闲)、配置缺口(容器版本落后或未启用投机解码、GPU 内核调优等优化)。
  • 每个端点最多同时收到一条通知,涵盖该端点的所有发现;通知按 AWS 区域区分,账户接收数量有限制。
  • 用户可从通知一键进入 SageMaker Studio 的 agentic 体验,在独立计算上对备选配置进行基准测试,比较响应时间、吞吐量和每百万 token 成本,生产端点不会自动更改。

关键数据

  • 监控默认对使用 vLLM 服务容器和 GPU 实例的 SageMaker AI 推理端点开启
  • 每个端点最多同时收到一条通知,涵盖所有发现
  • 基准测试使用标准 SageMaker AI 计费或 ML 预留

引语

  • It does not read your requests or responses.
  • Your production endpoint is not changed.

为什么值得看:该功能帮助团队自动发现推理端点中不易察觉的性能退化、资源浪费和配置落后问题,并通过数据驱动的基准测试辅助优化决策,而无需改动生产环境。

站内导航