专门化 SLM 词表如何在真实应用中降低 77% 的推理成本

英文原标题：How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications

本文为英文原文的机器翻译摘要，原文见：Hugging Face Blog ↗

• 文章介绍 Dharma-AI 团队为生产环境中的葡萄牙语作文评分器（基于 Qwen3-4B）专门化词表的方法 VocabX，在不更换基座模型、数据和训练配方的情况下，实测推理成本降低 77%。
• 通用词表在单一领域造成两类浪费：一是碎片化，领域内高频重复的文本（如 JSON 外壳、能力名称、评估短语）被拆成多个 token；二是冗余，词表包含大量领域几乎不用的条目，但每生成一个 token 模型都要为全部 151,669 个条目打分。
• 推理分为 prefill 和 decode 两个阶段：prefill 受计算限制，decode 受内存带宽限制。在实测的评分器中，生成一个 token 的成本是读取一个 token 的 7.4 倍，因此压缩输出比压缩输入收益更大。
• LM head 为每个词表条目保留一行参数，在 Qwen3-4B 中约占参数量的 10%；且每生成一个 token 都要读取整个矩阵，所以词表大小直接影响 decode 阶段的内存搬运量。VocabX 将输出层从约 152,000 行缩减到约 65,000 行。
• 现有方法（FVT、MWT、in-place BPE）按频率而非成本选择 token，且只处理子词或短语单层。VocabX 按字段成本加权（响应中节省的 token 价值是输入中的 7.4 倍），并同时在子词层和短语层操作，在固定预算下引入宏（macros）。

关键数据

• 推理成本降低 77%
• 基座模型为 Qwen3-4B，参数量 40 亿
• 原词表大小为 151,669 条
• 生成一个 token 的成本是读取一个 token 的 7.4 倍
• LM head 矩阵约占 Qwen3-4B 参数量的 10%
• 输出层从约 152,000 行缩减到约 65,000 行

引语

• a generated token costs 7.4 times a token read

为什么值得看：文章表明，对于单一领域的小模型，词表是训练前就可调整的最大成本杠杆之一，按 token 成本而非频率专门化词表能在不换模型的情况下大幅降低推理开销。