ToyBlocks：面向机器人学习与评估的可控世界

英文原标题：ToyBlocks: A controlled world for robot learning and evaluation

本文为英文原文的机器翻译摘要，原文见：Hugging Face Blog ↗

• AllenAI 推出 FoundationWorlds 框架，首个实例 ToyBlocks 是一个围绕机械臂和桌面方块的开源仿真环境，旨在为机器人学习提供可控、可重复的研究平台。
• ToyBlocks 能自动生成任务和演示数据，无需人工遥操作；它结合强化学习与运动规划生成短时技能，并通过任务与运动规划器（TAMP）自动组合技能、并行生成演示，单 GPU 上可达实时速度的 24 倍。
• 该环境支持域随机化（改变方块尺寸、桌面高度等），并包含方块表面的图片和字母，用于搜索、排序和排列任务，以测试模型在几何变化下的泛化能力。
• ToyBlocks 提供超越成功率的评估指标，如执行速度、施加的力和任务进度；还提供网页界面，允许用户用自然语言连接 Claude 等前沿模型来指令机器人或尝试任务。
• 基于 ToyBlocks 的研究涵盖低层动作模型（如 VLA）的空间泛化、多步规划、向物理机器人的迁移以及前沿模型通过工具执行任务等方向。

关键数据

• 单 GPU 上并行生成和执行数百个规划，达到最高 24 倍实时性能
• ToyBlocks 是首个 FoundationWorld，基于 MolmoAct 2、MolmoBot 和 MolmoSpaces 等前期工作
• 技能训练在 Isaac Lab（Nvidia 开源机器人学习仿真框架）中进行

引语

• “ToyBlocks 自动生成演示，无需耗时的人工遥操作”
• “高层推理模型决定做什么；低层动作模型控制机器人的运动”

为什么值得看：ToyBlocks 提供了一个可控、可自动生成数据的仿真环境，有助于系统研究机器人学习中的数据需求、泛化能力和失败原因，并推动从简单场景向复杂环境的扩展。