英文原标题:Full Fine-Tuning (FFT) on SageMaker AI Serverless Model Customization

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • Amazon SageMaker AI Serverless Model Customization 新增 Full Fine-Tuning (FFT) 支持,用户无需管理 GPU 或配置分布式训练即可获得更优模型质量。
  • 文章指出 LoRA 等参数高效微调方法因低秩更新限制了模型表达能力,在复杂任务和大数据集上会出现准确率平台期,而 FFT 通过全秩更新克服这一局限。
  • 实验使用 Qwen3-4B 基础模型和 Magicoder-Evol-Instruct-110K 代码生成数据集,在 SageMaker AI Serverless Model Customization 上对比 LoRA 与 FFT。
  • 在 10 万+ 训练样本下,FFT 在代码生成任务的 LLM-as-Judge 语义正确率上达到 90.0%,且雷达图显示 FFT 在 BLEU 和 ROUGE-2 等维度领先。
  • 切换 FFT 与 LoRA 仅需修改 TrainingType 参数(FULL 或 LORA),其余代码不变,降低了使用门槛。

关键数据

  • FFT 在 100K+ 训练样本下 LLM-as-Judge 语义正确率达到 90.0%
  • 数据集包含 110,000 个代码指令-响应对,按 90/5/5 划分(99,000 训练、5,500 验证、5,500 测试)
  • 实验使用 Qwen3-4B 基础模型
  • 超参数示例:学习率 2e-5、全局批次大小 8、最大 epoch 2、预热比例 0.1

为什么值得看:文章通过受控实验证明 FFT 在复杂任务和大数据集上优于 LoRA,并展示了 SageMaker AI 无服务器微调的便捷性,为企业低成本获得高质量定制模型提供了新选择。

站内导航