使用 LFM3 构建专用多模态模型

英文原标题：Build specialized multimodal models with LFM3

本文为英文原文的机器翻译摘要，原文见：Hugging Face Blog ↗

• LiquidAI 发布新一代 Liquid Foundation Models（LFM3），将文本、视觉、音频、全模态和决策模型统一到同一 2B 参数级共享骨干上，用户可按模态选择模型、在单 GPU 上微调并部署到应用运行处。
• 相比 LFM2 家族，LFM3 有四项主要变化：每参数能力更强（LFM3-1.7B 以少 35% 参数超越 LFM2.5-2.6B）、所有模态共享一个骨干（六个 2B 级模型均从 LFM3-1.7B-Base 分支，含首个全模态模型和视觉模型的视频输入）、面向边缘（文本模型 4-bit 约 1GB，256K 上下文）、便于专业化（每个模型单 GPU 微调）。
• LFM3-1.7B-Base 采用 24 层三混合架构：13 层门控短卷积（核大小从 3 增至 7）、5 层 256 token 窗口的滑动窗口注意力、6 层全局注意力；并引入头级门控注意力、部分 RoPE 和 Sandwich norm。长上下文下每参数性能与 LFM2-1.2B 相当，8K token 上下文时约快 25%。
• 预训练使用 22T token，最后 3.5T token 为中期训练阶段，增加 agentic 轨迹和工具调用数据，上下文窗口扩展至 256K。视觉编码器（164M 参数）计算量比 SigLIP2 少 3 倍，精度匹配 Qwen3.5-2B 视觉编码器且 FLOPs 少 2.2 倍；音频编码器完全因果，首 token 延迟低至 50 ms，LiquidCodec 在 Apple M4 Max 单 CPU 线程上约 87 倍实时生成语音。
• LFM3-1.7B 面向本地 agent、工具调用和结构化输出，在 WebArena-Verified 上得分 38.42（前代 3.02），在浏览器和商业应用长任务上甚至超过 Qwen3.5-9B；LFM3-VL-2B 是首个支持视频输入的 LFM 视觉模型，参数 1.9B（对比 LFM2.5-VL-3B 的 3.1B）。

关键数据

• LFM3-1.7B 比 LFM2.5-2.6B 少 35% 参数
• 文本模型 4-bit 精度下约 1 GB
• 文本模型上下文窗口 256K
• LFM3-1.7B-Base 预训练 22T token，最后 3.5T token 为中期训练
• 8K token 上下文时比 LFM2-1.2B 约快 25%
• 视觉编码器 164M 参数，计算量比 SigLIP2 少 3 倍，FLOPs 比 Qwen3.5-2B 视觉编码器少 2.2 倍
• 音频首 token 延迟低至 50 ms
• LiquidCodec 在 Apple M4 Max 单 CPU 线程上约 87 倍实时
• WebArena-Verified 得分 38.42 对 3.02
• LFM3-VL-2B 参数 1.9B，LFM2.5-VL-3B 为 3.1B

引语

• More capability per parameter
• Every modality on one backbone
• Built for the edge
• Made to be specialized

为什么值得看：LFM3 用单一 2B 级骨干覆盖多种模态并支持单 GPU 微调与边缘部署，为构建专用多模态模型提供了可落地的轻量方案。