英文原标题：Mixture-of-Experts kernel engineering on Amazon SageMaker AI
本文为英文原文的机器翻译摘要，原文见：AWS Machine Learning Blog ↗
- MoE 是稀疏激活架构，能在保持每 token 计算量较低的同时扩展 LLM 容量，但其操作占总计算时间比例大，因此 kernel 工程优化收益最大。
- Fused MoE 将 token 路由、数据重排和专家网络计算合并为 GPU 上的单一批处理操作，替代顺序循环执行，但增加了 kernel 实现和调试复杂度，需要硬件特定优化。
- 在 NVIDIA Hopper 上，WGMMA 指令要求 M 维度至少为 64，而 MoE 解码阶段 M 常小于 64 甚至为 1，导致 Tensor Core 利用率低下。
- 通过 Swap-AB 转置矩阵乘法，将庞大的专家维度 N 提升到第一操作数位置，满足 Hopper 的 64 行阈值并启用异步预取，在 H200 上带来 2–4% 端到端吞吐提升，该优化已上游到 vLLM 0.24.0 或更高版本。
- 对于 FP8 张量量化模型，在 Hopper 上 Triton 后端在低并发 MoE 工作负载中持续优于默认的 FLASHINFER_CUTLASS 路径，因其将 FP8 缩放、矩阵乘法和专家聚合融合为单次硬件 pass，减少全局显存往返。
关键数据
- Swap-AB 优化在 H200 上带来 2–4% 端到端输出吞吐提升
- 该优化已上游到 vLLM，版本 0.24.0 或更高可用
- WGMMA 指令要求 M 维度至少为 64
- 解码阶段 M 常小于 64，甚至为 1
- topk=8 时融合 kernel 内有效 N 维度可达数万至数十万
引语
- Swap-AB for WGMMA utilization
- Backend routing for FP8 tensor quantization
为什么值得看：本文揭示了 MoE 模型在 Hopper GPU 上因 WGMMA 指令结构限制导致的解码性能瓶颈，并给出了可落地的 kernel 优化方案，对提升大模型推理吞吐和降低成本有直接参考价值。
