在Amazon SageMaker AI上进行多轮强化学习：实战指南

英文原标题：Multi-Turn Reinforcement Learning on Amazon SageMaker AI: A hands-on guide

本文为英文原文的机器翻译摘要，原文见：AWS Machine Learning Blog ↗

• 多轮强化学习（MTRL）在 Amazon SageMaker AI 上训练模型处理需要多步决策的智能体任务，仅根据整个回合的最终结果给予奖励，无需指定正确轨迹。
• 示例使用 Wordle 游戏：SageMaker AI 将训练数据发送到托管在 Amazon Bedrock AgentCore 上的智能体，智能体调用策略模型进行最多六次猜测，环境返回反馈，游戏结束后给出奖励。
• 训练使用 GRPO 算法，根据同一单词多次 rollout 的奖励分布更新策略模型上的 LoRA 适配器；智能体、环境和奖励函数集中在一个 Python 文件中。
• 实验将 gpt-oss-20b 在默认推理努力下的解决率从 61% 提升到 84%，在低推理努力下从 15% 提升到 69%，训练 token 成本约 339 美元。
• MTRL 为无服务器模式，按 prefill、sample、train 三个维度的 token 计费；支持 Amazon Nova 2 Lite、GPT-OSS-20B、Gemma 4 31B、Qwen 3.6 27B 等基础模型，并有区域限制。

关键数据

• gpt-oss-20b 默认推理努力下解决率从 61% 提升到 84%，低推理努力下从 15% 提升到 69%。
• 100 步训练运行 12 小时 40 分钟，共 105,486 次 rollout，消耗 4.916 亿 prefill token、1.597 亿 sample token、6.433 亿 train token，总费用约 338.50 美元。
• AgentCore 运行时费用约 79 美元。
• 奖励设计：解决奖励 1.05–1.55，失败 -0.5，未做出有效猜测 -1.5。

为什么值得看：它提供了一套可复现的端到端流程，展示如何用结果奖励训练小模型掌握特定多步任务，并公开了成本与奖励设计经验。