新闻 · AWS Machine Learning Blog
在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏
静默数据损坏是一种 GPU 故障,它会返回错误但看似合理的数值且不报错,悄然污染分布式训练。本文在 PyTorch DDP 循环中加入三项检查来检测该问题,在 Amazon SageMaker HyperPod 上定位故障节点,并将该节点交由自动恢复流程进行替换。
en
新闻 · AWS Machine Learning Blog
静默数据损坏是一种 GPU 故障,它会返回错误但看似合理的数值且不报错,悄然污染分布式训练。本文在 PyTorch DDP 循环中加入三项检查来检测该问题,在 Amazon SageMaker HyperPod 上定位故障节点,并将该节点交由自动恢复流程进行替换。
英文原标题:Detecting and recovering from silent data corruption on Amazon SageMaker HyperPod
本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗
为什么值得看:SDC会无声地破坏大规模分布式训练的结果,而现有硬件监控无法发现,本文提供了在训练循环中主动检测并利用HyperPod恢复的实用方案。