Transformers 模型集成契约

英文原标题：Transformers Model Integration Contracts

本文为英文原文的机器翻译摘要，原文见：Hugging Face Blog ↗

• 2026年7月30日，Transformers为T5启用PyTorch的SDPA注意力，导致UMT5解码器能关注未来token，训练时可“偷看”答案；该bug在main分支存活近两个月，后由一个小型UMT5模型在CPU上发现。
• Transformers支持超750种模型，测试套件庞大（main分支88,000+ CPU测试，每日运行200,000+ GPU测试），全量集成测试难以在每次PR运行，因此提出用“fixture”缩小模型，在廉价CPU上运行快速集成测试。
• 提出Model Integration Contract（MIC）标准，包含三部分：fixture（缩小并固定发布的模型）、usage path（可运行的Markdown示例）、baselines（人工审核的预期输出）；契约在fixture上运行usage path仍产生baselines即成立。
• UMT5回归中，小型fixture从引入到修复期间均能标记问题，log概率差异1.22、训练损失差异约0.20；且必须使用SDPA默认注意力路径，仅eager注意力会漏掉bug。
• 缩小模型配方包括：缩小配置（保留层类型多样性）、保持预处理不变、构建并验证权重、冻结并记录基线；Llama 4 Scout从1086亿参数缩至4470万，视觉层34→2、语言层48→4。

关键数据

• UMT5 fixture权重66 MB，源检查点1,227 MB
• UMT5回归从2026年7月30日引入至9月28日修复
• log概率差异1.22，训练损失差异约0.20
• T5契约的runner步骤在CPU上耗时13.4秒（不含设置）
• Llama 4 Scout从108.6亿参数缩至4470万参数
• 随机Whisper fixture在24个注入故障中捕获18个

引语

• The LLM drafts; it doesn't approve.

为什么值得看：它提出了一套可复用的模型集成契约标准，能在PR阶段用低成本CPU测试提前拦截类似UMT5的隐蔽回归，避免bug进入main分支。