英文原标题:Accelerate multimodal RL training with SkyRL on Amazon SageMaker HyperPod
本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗
- 强化学习后训练正成为构建语言模型智能体的标准步骤,模型通过生成轨迹、接收奖励并更新策略来学习多步推理与行动。
- Amazon SageMaker HyperPod 为大规模多节点 RL 训练提供持久集群基础设施,具备节点健康监控、故障自动替换和检查点恢复能力,避免硬件故障导致长时间训练进度丢失。
- 结合 HyperPod 上的 Ray 能力,用户可从 SageMaker Studio 创建 Ray 集群、通过安全连接远程提交作业,并利用预构建的 Amazon Managed Grafana 仪表板监控训练。
- 文章演示了使用开源 RL 框架 SkyRL,在 HyperPod 上通过 GRPO 训练 Qwen3-VL-8B 视觉语言模型完成视觉迷宫导航任务。
- 从 VisGym SFT 检查点出发,GRPO 后训练将固定 64 个迷宫评估集上的求解率从 43.75% 提升至 95% 以上。
关键数据
- 迷宫求解率从 43.75% 提升至 95% 以上
- 集群至少需要 3 个 ml.g7e.12xlarge 实例和 1 个 ml.r5d.16xlarge 实例
- 每个 ml.g7e.12xlarge 配备 2 块 NVIDIA RTX PRO 6000 Blackwell GPU,共 6 块 GPU
- 策略模型 Qwen3-VL-8B 使用 rank 32 的 LoRA,通过 PyTorch FSDP 分片到 6 块 GPU
- 部署 6 个共置 vLLM 实例,每块 GPU 一个
- ml.r5d.16xlarge 拥有 512 GB RAM
为什么值得看:该实践展示了如何利用 SageMaker HyperPod 的弹性基础设施和 SkyRL 框架,高效完成多模态强化学习后训练,显著提升视觉语言模型在迷宫导航任务上的表现。