英文原标题:Multi-Region training with Amazon SageMaker HyperPod and Qumulo

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • Amazon SageMaker HyperPod 与 Qumulo 的 Cloud Native Qumulo (CNQ) 及 Cloud Data Fabric (CDF) 结合,可让训练计算位于一个 AWS Region,而数据集保留在另一个 Region 或本地,无需复制数据或修改代码。
  • 验证中,位于 us-west-2 的 spoke 集群通过 CDF 以 60 ms 网络延迟远程读取 us-east-2 的数据,经过短暂预热后吞吐量达到与同区域 hub 集群相同的水平。
  • CNQ 的云原生架构使其性能可独立于数据存储规模扩展,实现 99% GPU 利用率和 p5.48xlarge 网络饱和,数据操作延迟低于 3 ms。
  • 远程集群训练吞吐量在 100–150 个批次内收敛,预热时间占比极小:在 10,000+ 批次时低于 1%,在 100,000+ 批次时低于 0.1%。
  • CDF 的 NeuralCache 通过预测性缓存学习数据加载器的访问模式,预热后 94–96% 的读取由本地 NVMe 缓存以低于 5 ms 的延迟提供。

关键数据

  • 训练速度:hub 集群 116–117 samples/sec,spoke 热缓存 115–116 samples/sec,冷启动 95–115 后收敛至 116 samples/sec。
  • 999 批次时间:hub 和 spoke 热缓存均为 18.5 分钟,冷启动约 19–20 分钟。
  • GPU 利用率:初始 100–150 批次为 80–90%,之后收敛至 98–100%。
  • Qumulo 在 hub 配置中提供 1.0–1.3 GBps 持续读取吞吐量,最大读取延迟 2–3 ms。
  • CDF 可在往返时间高达 900 ms 的链路上维持接近线速的吞吐量。

为什么值得看:该方案解决了跨 Region 训练中数据复制成本与网络延迟的权衡,使团队无需移动数据即可保持前沿模型训练的高吞吐量和 GPU 利用率。

站内导航