英文原标题:Ambient LLMs: Data-Efficient Supervised Fine-tuning via Temperature Matching

本文为英文原文的机器翻译摘要,原文见:arXiv cs.AI ↗

为自回归语言模型收集大规模、多样且高质量的后训练数据集颇具挑战。因此,监督微调(SFT)通常应用于远小于预训练所用数据集的数据集,这会导致过拟合以及对数据分布尾部的灾难性遗忘。为防止这种崩溃,我们引入了 Ambient SFT,一个利用不完美预测来扩充微调集的原则性框架。在我们的方法中,预训练模型的一个“冻结”版本充当噪声教师,微调后的模型必须在粗粒度层面与之匹配。具体而言,我们要求后训练模型产生的条件分布的高温版本应与预训练模型的高温版本相匹配。温度超参数控制对预训练模型的信任程度,极限 $T\to \infty$ 退化为常规 SFT,而 $T=1$ 则

站内导航