在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 以实现多语言推理

英文原标题：Fine-tuning GPT-OSS-20B for multilingual reasoning on Amazon SageMaker HyperPod

本文为英文原文的机器翻译摘要，原文见：AWS Machine Learning Blog ↗

• GPT-OSS-20B 是一个开放权重的推理模型，但默认用英语进行思维链推理。在 50 个多语言推理测试中，基础模型仅在 22% 的情况下用正确的目标语言推理，其中英语 100%，法语 0%，德语 10%，西班牙语 0%，意大利语 0%。
• 为弥补这一差距，文章介绍了在 Amazon SageMaker HyperPod 上对 GPT-OSS-20B 进行微调的方法，比较了监督微调（SFT）和基于 Group Relative Policy Optimization（GRPO）的强化学习，以及两者结合的效果。
• 文章的核心观点是：SFT 教会模型原本不具备的行为，而 GRPO 优化模型已经能偶尔产生的行为。如果期望行为在基础分布中概率为零，GRPO 几乎没有可强化的空间。
• 训练使用 HuggingFaceH4/Multilingual-Thinking 数据集，包含约 949 个训练样本和 50 个验证样本，覆盖英语、法语、德语、西班牙语和意大利语。评估使用 50 个测试用例，衡量推理语言正确性和答案语言正确性。
• 技术栈包括 Amazon SageMaker HyperPod 与 Amazon EKS 编排，GPT-OSS-20B 的 SFT 和 GRPO 使用 PyTorch TRL 库，Qwen 对照实验使用 veRL 训练器，配合 Ray、KubeRay 和 vLLM，存储使用 Amazon FSx for Lustre，节点间通信使用 EFA，所有微调均采用 LoRA。

关键数据

• 基础模型在 50 个测试用例中推理语言正确率为 22%（11/50）
• 各语言推理正确率：英语 100%，法语 0%，德语 10%，西班牙语 0%，意大利语 0%
• 数据集约 949 个训练样本和 50 个验证样本
• SFT 使用 LoRA r=8, α=16，训练 1000 步，在 4× ml.g6e.12xlarge（16× L40S 48GB）上运行
• Qwen 对照实验使用 2× g6e.48xlarge（16× L40S）

为什么值得看：文章通过具体实验展示了 SFT 和 GRPO 在多语言推理微调中的不同作用，为团队选择微调策略提供了基于数据的参考。