英文原标题:Why your fine-tuning job takes longer than the FLOPs say

本文为英文原文的机器翻译摘要,原文见:Hugging Face Blog ↗

  • 文章基于272个生产环境的监督微调(SFT)任务(总计约7,382 GPU小时)比较了FLOP理论估算与机器学习预测器的准确性。
  • 传统FLOP估算(MFU=30%)的R²仅为0.31,平均绝对误差(MAE)达12.41小时,无法解释实际耗时。
  • CatBoost回归模型仅使用调度前已知信息,在5折交叉验证中达到R²=0.98,MAE=1.71小时,中位误差0.51小时。
  • 预测器性能提升源于两方面:纳入评估频率、检查点策略、每GPU负载等训练特有信号,并学习它们之间的非线性交互。
  • 特征重要性显示,评估数据总量(num_eval_data)是最重要特征,其次是可训练参数量、评估批次大小等,表明评估和检查点开销对总时长影响显著。

关键数据

  • 272个SFT任务,总计约7,382 GPU小时
  • 任务时长范围1.6至172.4小时,平均23.43小时,中位数15.29小时
  • FLOP基线(MFU 30%)R²=0.31,MAE=12.41小时
  • CatBoost模型R²=0.98,MAE=1.71小时,中位误差0.51小时
  • 模型参数量最大150亿,使用LoRA和全量微调
  • 硬件为NVIDIA H200 GPU,1-4节点,每节点8-32卡

为什么值得看:准确的微调时长预测能优化共享GPU集群的调度,减少空闲和延迟,而该研究表明机器学习模型比传统FLOP估算更可靠。

站内导航