英文原标题:Build a model improvement flywheel with Amazon SageMaker HyperPod Data Capture

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • Amazon SageMaker HyperPod 新增 Data Capture 功能,可将生产推理的输入输出记录到 Amazon S3,支持三层独立捕获,对模型可用性无影响且延迟影响极小。
  • 三层架构分别位于请求路径的不同位置:Tier 1 由 SageMaker 原生数据捕获管理,记录完整请求/响应;Tier 2 捕获负载均衡器访问日志字段;Tier 3 由 HyperPod 推理算子通过 NGINX、OTel collector 和 S3 上传器 sidecar 记录完整负载及事件元数据。
  • 文章以家电客服路由模型为例,演示完整飞轮:捕获生产流量、用 Athena 查询发现新产品盲点、用 SQL 策略标注数据、在第二个 GPU 上微调模型,并对比部署前后准确率。
  • Tier 3 记录完整负载可能包含姓名、地址等敏感信息,需在用作训练数据前采取采样、AWS KMS 加密、S3 生命周期规则和 PII 脱敏(如 Amazon Comprehend)等保护措施。
  • 部署需满足前提:HyperPod 集群由 Amazon EKS 编排,安装推理算子和训练算子,并准备两个可用 NVIDIA GPU(一个用于服务,一个用于训练),否则训练 Pod 会处于 Pending 状态。

关键数据

  • 三层捕获:Tier 1(SageMaker 端点)、Tier 2(负载均衡器)、Tier 3(模型 Pod)
  • 示例使用 Qwen2.5-3B-Instruct 模型,可在约一分钟内完成微调
  • 服务使用 ml.g6e.8xlarge,训练使用 ml.g6e.xlarge(各含一块 48 GB NVIDIA L40S)
  • Tier 1 和 Tier 3 均存储完整负载,同时启用会导致每条记录存储两次

为什么值得看:它提供了一套从生产数据捕获、分析、标注到微调再部署的闭环方案,帮助团队用真实交互持续改进基础模型。

站内导航