英文原标题:Detecting and recovering from silent data corruption on Amazon SageMaker HyperPod

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • 静默数据损坏(SDC)指GPU等硬件返回看似合理但错误的数值且不报错,在分布式训练中会污染所有副本的梯度和权重,损失曲线可能数小时正常,导致算力浪费。
  • Meta在Llama 3 405B预训练中(54天,最多16K H100 GPU)将419次意外中断中的6次归因于SDC,且仅统计了导致中断并被追溯的案例。
  • SageMaker HyperPod现有健康监控、深度健康检查和自动节点恢复均无法检测SDC,因为硬件不报告任何错误,检测必须来自训练任务本身。
  • 文章在PyTorch DDP训练循环中加入三项检查:非有限梯度检查(捕获NaN/Inf)、环回放审计(逐位比较损失和梯度指纹以捕获有限错误值)、权重指纹比较(检测优化器步骤和存储权重中的损坏)。
  • 检测到可疑GPU后,通过Kubernetes节点名映射到实例ID,隔离节点并利用HyperPod替换节点,从检查点恢复训练;方案在4台ml.p5.48xlarge(32块H100)上通过软件注入故障测试,最少需3个节点。

关键数据

  • Meta在54天Llama 3 405B预训练中,419次意外中断有6次归因于SDC
  • 测试使用4台ml.p5.48xlarge实例(32块NVIDIA H100 GPU),最少需要3个节点
  • 学习率0.1示例中,三个副本初始权重均为0.500,局部梯度分别为0.20、0.40、0.30

为什么值得看:SDC会无声地破坏大规模分布式训练的结果,而现有硬件监控无法发现,本文提供了在训练循环中主动检测并利用HyperPod恢复的实用方案。

站内导航