欢迎 Muse Spark Open：来自 Meta 的开放权重前沿多模态混合专家模型

英文原标题：Welcome Muse Spark Open: open-weight frontier multimodal mixture-of-experts model from Meta

本文为英文原文的机器翻译摘要，原文见：Hugging Face Blog ↗

• Meta 发布开放权重多模态混合专家模型 Muse Spark Open，总参数约 816B，每 token 激活约 42B，上下文窗口最高 100 万 token，输入支持文本、图像、音频和视频，输出为文本。
• 该模型面向智能体编程训练，能阅读代码库、编写和调试代码、调用工具，并在长任务中规划、行动、观察和自我纠正，包括带图像浏览网页。
• 架构上，语言模型有 62 层、隐藏维度 8192，每层 MoE 块含 256 个专家，路由为每 token 选 8 个专家；专家占约 97% 总参数，部署需 816B 模型内存但运行速度接近 42B 模型。
• 感知编码器有 1.8B 参数、50 层，将图像和视频帧转为 token；音频编码器每 80 毫秒输出一个音频 token，即每秒 12.5 个 token。
• 推理支持 Transformers、llama.cpp、vLLM 和 SGLang；BF16 检查点约 1.5 TB，需 4 节点 8 张 H200 GPU（TP=32），NVFP4 检查点可在单 B200 节点运行。

关键数据

• 总参数约 816B，每 token 激活约 42B
• 上下文窗口最高 1M token，max_position_embeddings 设为 1,048,576
• 每层 MoE 有 256 个专家，每 token 选 8 个
• 专家占约 97% 总参数
• BF16 检查点约 1.5 TB
• 音频编码器每 80 毫秒输出一个 token，即每秒 12.5 个 token
• 每 token 增加 126,976 个 KV 缓存值，BF16 下约 250 KB，1M 上下文约 266 GB

引语

• the most capable US open-weights model to date

为什么值得看：Muse Spark Open 是 Meta 迄今最大开放权重多模态 MoE 模型，面向智能体编程，提供 1M 上下文和多模态输入，并给出完整部署与微调方案。