英文原标题:Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
本文为英文原文的机器翻译摘要,原文见:Hugging Face Blog ↗
- Allen AI 发布 Olmo-core 3,这是其大语言模型开发框架的重大升级,重新设计了开放的混合专家(MoE)训练系统,旨在将 MoE 训练扩展到万亿参数级别,同时保持计算效率。
- MoE 模型虽能通过仅激活部分参数来提升效率,但全模型仍需存储在 GPU 内存中并更新,且跨集群路由输入到正确专家会带来通信和协调成本,随着 MoE 增长,这些成本可能侵蚀其计算优势。
- Olmo-core 3 从之前基于 FSDP 的实现转向基于 DDP 的系统,将专家常驻 GPU 并路由数据到专家,避免重复收集权重;在 8 块 NVIDIA B300 GPU 的初步测试中,470 亿参数 MoE 的吞吐量达到每 GPU 每秒 52,000 个 token,而旧实现为 19,400,提升约 2.7 倍。
- 该框架结合了专家并行、流水线并行和分布式优化器来分割模型与训练状态,并采用行式专家并行、GPU 常驻路由和分组 GEMM 来降低路由与计算开销;还支持 MXFP8 低精度格式,在 4 块 B300 GPU 上测试显示训练吞吐量比 BF16 高约 21%,峰值活动内存从 103 GiB 降至 95 GiB。
- Olmo-core 3 已在 NVIDIA B300 GPU 上基准测试了多种配置,包括在 512 块 GPU 上训练 1.2 万亿参数模型(每 token 激活 583.6 亿参数),最高吞吐量达 858 TFLOP/s/GPU;还实验了 DeepEP v2,达到 2.38 万亿总参数的配置,但仅为短容量测试。
关键数据
- 专家池从 8 增加到 128,每 token 仍只选 4 个专家,每 token 活跃参数约 3.2B,总参数容量从 4.6B 增至 47B,训练吞吐量下降不到 5%。
- 在 8 块 NVIDIA B300 GPU 上,470 亿参数 MoE 使用新栈达到每 GPU 每秒 52,000 token,旧实现为 19,400,约 2.7 倍。
- MXFP8 在 4 块 B300 GPU 上使训练吞吐量比 BF16 高约 21%,峰值活动内存从 103 GiB 降至 95 GiB。
- 1.2 万亿参数模型在 512 块 GPU 上,每 token 激活 58.36 亿参数,最高吞吐量 858 TFLOP/s/GPU。
- DeepEP v2 实验达到 2.38 万亿总参数配置。
引语
为什么值得看:Olmo-core 3 提供了开放、可扩展的 MoE 训练基础设施,旨在降低大规模模型训练的门槛,并公开了训练方法和性能权衡的细节。