英文原标题:180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers
本文为英文原文的机器翻译摘要,原文见:Hugging Face Blog ↗
- 作者尝试在32GB统一内存的MacBook M5上本地运行Qwen3.8-Flash-Next(180B参数的MoE模型),目标是通过Transformers实现专家流式加载,而非依赖Strata等专用推理引擎。
- 现有引擎的offload策略各有局限:llama.cpp可将专家留在CPU计算,但RAM不足时页面缓存抖动;vLLM的--cpu-offload-gb无缓存且无磁盘层;Transformers+Accelerate按模块整体拷贝,对MoE会复制整个专家库,效率极低。
- 作者在OLMoE-1B-7B上验证了关键优化:将LRU缓存改为预分配的slot pool,把路由的专家ID重映射到槽位,使grouped_mm可直接运行,速度从10.1 tok/s提升至34.6 tok/s(原版38.1)。
- 该功能以experts_offload选项集成到Transformers的PR #50717中,支持将专家映射到"disk",通过8个I/O线程读取、提前运行下两层路由器预取专家,并支持离线量化专家以减少读取量。
- 在Qwen3.8-Flash-Next上,专家量化为3比特后占磁盘49GB、设备缓存12GiB,稠密层8比特约5.4GB,n-gram表留在磁盘;加载后占用约18GiB,6K提示峰值25.4GiB,接近32GB内存上限。
关键数据
- Qwen3.8-Flash-Next有48层、每层512个专家(激活10个),FP8下共121GB。
- 专家3比特量化后磁盘占49GB,设备缓存12GiB;稠密层8比特约5.4GB,困惑度增加0.2%。
- 转换耗时约5小时;加载后占用约18GiB,6K提示峰值25.4GiB。
- OLMoE-1B-7B上,slot pool方案达34.6 tok/s,原版为38.1 tok/s。
- 在A10G上对比:Strata Q8_0为82-88 tok/s,llama.cpp Q8_0为63-64 tok/s,Transformers+Accelerate仅0.16 tok/s。
为什么值得看:它展示了如何通过Transformers的专家流式加载与slot pool优化,在32GB内存的笔记本上运行180B MoE模型,为本地大模型推理提供了新思路。