英文原标题:Accelerate multimodal RL training with SkyRL on Amazon SageMaker HyperPod

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • 强化学习后训练正成为构建语言模型智能体的标准步骤,模型通过生成轨迹、接收奖励并更新策略来学习多步推理与行动。
  • Amazon SageMaker HyperPod 为大规模多节点 RL 训练提供持久集群基础设施,具备节点健康监控、故障自动替换和检查点恢复能力,避免硬件故障导致长时间训练进度丢失。
  • 结合 HyperPod 上的 Ray 能力,用户可从 SageMaker Studio 创建 Ray 集群、通过安全连接远程提交作业,并利用预构建的 Amazon Managed Grafana 仪表板监控训练。
  • 文章演示了使用开源 RL 框架 SkyRL,在 HyperPod 上通过 GRPO 训练 Qwen3-VL-8B 视觉语言模型完成视觉迷宫导航任务。
  • 从 VisGym SFT 检查点出发,GRPO 后训练将固定 64 个迷宫评估集上的求解率从 43.75% 提升至 95% 以上。

关键数据

  • 迷宫求解率从 43.75% 提升至 95% 以上
  • 集群至少需要 3 个 ml.g7e.12xlarge 实例和 1 个 ml.r5d.16xlarge 实例
  • 每个 ml.g7e.12xlarge 配备 2 块 NVIDIA RTX PRO 6000 Blackwell GPU,共 6 块 GPU
  • 策略模型 Qwen3-VL-8B 使用 rank 32 的 LoRA,通过 PyTorch FSDP 分片到 6 块 GPU
  • 部署 6 个共置 vLLM 实例,每块 GPU 一个
  • ml.r5d.16xlarge 拥有 512 GB RAM

为什么值得看:该实践展示了如何利用 SageMaker HyperPod 的弹性基础设施和 SkyRL 框架,高效完成多模态强化学习后训练,显著提升视觉语言模型在迷宫导航任务上的表现。

站内导航