英文原标题:Welcome Inkling 2 Mini, Cutting-edge Performance for your Local Setup

本文为英文原文的机器翻译摘要,原文见:Hugging Face Blog ↗

  • Inkling 2 Mini 是 Thinking Machines Lab 推出的新型循环 Transformer 模型,采用多模态混合专家(MoE)架构,物理总参数约 26B,每 token 激活 3B 参数,面向本地 AI 部署。
  • 模型通过循环复用中间层提升容量:24 个解码层中,第 6–17 层循环执行三次,等效于 48 个逻辑层;每次循环从相同输入出发,通过跨轮消息和门控控制器逐步精炼信息。
  • 支持 1M token 上下文,接受图像和文本输入;每层从 128 个 SwiGLU 专家中路由 8 个,注意力使用 24 个查询头和 8 个 KV 头,局部滑动窗口为 1,024 token。
  • 官方提供 transformers、llama.cpp、MLX 支持,SGLang 提供首日推理支持;模型以混合精度格式发布(NVFP4 和 MXFP8 专家权重),并附带 DSpark drafter 以小幅内存代价换取加速。
  • 在 Artificial Analysis Intelligence Index v5 中处于同类领先,与 Gemma 4 31B、Qwen3.8-27B 等对比的 48 项基准中领先 32 项;同时发布了可调循环次数的研究变体 TML-d24-varloop-research。

关键数据

  • 物理总参数约 26B,每 token 激活 3B 参数
  • 24 个解码层,中间 12 层循环三次,等效 48 个逻辑层
  • 支持 1M token 上下文
  • 每层 128 个专家中选 8 个,隐藏维度 2,304
  • 局部滑动窗口 1,024 token
  • 48 项基准中领先 32 项

引语

  • Inkling 2 Mini is a new looped transformer model.
  • it's at least comparable with Qwen 3.8 27B

为什么值得看:该模型以较小的物理参数和本地部署友好性,在多项基准中达到同类领先,并提供了循环层复用与可变循环次数的架构探索。

站内导航