英文原标题:Apertus 1.5 Release Notes
本文为英文原文的机器翻译摘要,原文见:Hugging Face Blog ↗
- Apertus 1.5 在 8B 和 70B 模型上新增图像与音频理解能力,并引入可选思考模式,上下文窗口扩展至 262,144 tokens,为 1.0 版的四倍。
- 模型权重于 2026 年 7 月 24 日以 Apache 2.0 许可发布至 Hugging Face,延续开放权重、开放数据、开放价值观和完整训练细节的开放路线。
- 多模态采用早期融合方式,图像经 Emu3.5 tokenizer 转为离散 token,音频经 WavTokenizer 处理,与文本 token 同序列输入,架构不变且训练速度与纯文本相当。
- 训练流程包括四阶段持续预训练(未配对、配对、冷却、长上下文)和五阶段后训练(SFT、长上下文 SFT、RL、DPO、charter 对齐 SDPO),超过一半训练 token 为纯文本以保留语言能力。
- 评估显示 8B 模型在指令遵循和多语言任务上超越同规模开放权重模型,思考模式提升 AIME 等推理基准表现,多模态性能接近 Gemma 4 12B,并与 EvalEval 合作发布透明评估卡。
关键数据
- 8B 模型新增 4 万亿 token,总计 19T;70B 模型新增 2 万亿 token,总计 17T。
- 上下文窗口从 8k 逐步扩展至 262,144 tokens。
- 512×512 图像编码为 1,024 tokens,音频每秒 40 tokens。
- SFT 使用 370 万文本样本,RLVR 约 35 万提示。
- EEE schema 可表示 EU AI Act 第 55 条和 GPAI 行为准则所要求的 60 个评估报告元素中的 56 个。
为什么值得看:Apertus 1.5 以全开放方式扩展多模态和长上下文能力,并通过 EvalEval 评估卡推动透明可复现的模型评估实践。