英文原标题:Introducing workload recovery and expanded infrastructure checks on Amazon SageMaker HyperPod

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • Amazon SageMaker HyperPod 新增三项能力以提升训练有效吞吐(goodput):MultiNodeTrainingValidation 深度健康检查、HyperPod Kubernetes Resource Monitoring Agent 和 Hung job detection。
  • 现有 HMA、InstanceStress 和 InstanceConnectivity 只检查单节点硬件,无法发现 GPU 计算错误、作业挂起或 Kubernetes 组件故障三类问题。
  • MultiNodeTrainingValidation 在实例供应时或按需运行 Tiny Megatron 和 Megatron 训练测试,若 loss 为 NaN/无穷或超时则标记实例失败,配合自动节点恢复可替换故障实例。
  • Kubernetes Resource Monitoring Agent 持续监控 EKS 集群,发现设备插件崩溃循环、DaemonSet 缺失、节点污点等问题,并在作业失败时通过 Kubernetes 事件和 CloudWatch 日志报告相关 Pod 和节点。
  • Hung job detection 针对 Slurm 集群,通过节点代理监控作业输出和 GPU 活动,发现停止推进的作业后写入 CloudWatch 事件并可取消作业以便 Slurm 重新排队。

关键数据

  • Meta 在 54 天 Llama 3 405B 预训练中 419 次意外中断有 6 次归因于静默数据损坏。
  • 示例:32 台 ml.p5.48xlarge(256 块 H100 GPU)作业从凌晨 1 点挂起到 9 点,浪费 256 实例小时或 2,048 GPU 小时,按约 $66/实例小时计算成本约 $16,900;15 分钟检测规则下成本约 $530,节省约 $16,400。

为什么值得看:这些能力针对硬件检查无法覆盖的数值故障、作业挂起和集群级故障,帮助减少无效计算时间并降低训练成本。

站内导航