你的专家都有合作伙伴。有希望让他们继续合作

英文原标题：Your Experts Have Partners. There's HOPE for Keeping Them Together

本文为英文原文的机器翻译摘要，原文见：Hugging Face Blog ↗

• MoE 模型推理时所有专家 MLP 都需占用内存，但每个 token 仅激活少数专家，例如 Qwen3.5-122B 每层 256 个专家中只使用 8 个，专家参数占其约 250 GB 内存的 95%。
• 现有专家剪枝方法为每个专家独立打分（一阶方法），忽略专家间的协作关系；而实验观察到专家会形成稳定的共激活集群，忽略这些交互会导致剪枝效果次优，尤其在激进剪枝率下。
• HOPE 是一种二阶剪枝方法，通过最小化剪枝误差的上界代理 Z，展开后得到专家两两交互项，并转化为二次规划问题求解最优剪枝集合。
• 在 50% 剪枝率下，HOPE 取得所有方法中最佳的平均排名，在 agentic coding 任务上比次优剪枝方法最高提升 6.1%。
• HOPE 无需训练，可与量化组合使用，且避免了动态加载/卸载专家的延迟问题；其交互矩阵 F 在 GLM-4.5-Air 上显示出按层变化的块状专家协作结构。

关键数据

• Qwen3.5-122B 有 48 个 MoE 层，每层 256 个专家，每个 token 每层仅使用 8 个专家。
• Qwen3.5-122B 约 250 GB 参数内存中 95% 被专家 MLP 占用。
• 50% 剪枝率下，HOPE 在 agentic coding 任务上比次优方法最高提升 6.1%。
• GLM-4.5-Air 每层 128 个专家，总参数 106B。

为什么值得看：HOPE 通过考虑专家间协作关系来更安全地剪枝 MoE 专家，在保持性能的同时显著降低大模型推理内存占用。