NVIDIA 推出用于交互式世界模拟的全新 Cosmos 3 开放模型

英文原标题：New NVIDIA Cosmos 3 Open Models for Interactive World Simulation

本文为英文原文的机器翻译摘要，原文见：Hugging Face Blog ↗

• NVIDIA 在 Cosmos 世界模型开发平台下新增四个开放权重检查点，均基于 Cosmos 3 Nano 后训练，拥有 16B 可训练参数，采用 OpenMDW1.1 许可，允许商业和非商业使用。
• Cosmos3-Nano-Transfer-Auto 用于离线合成驾驶数据，支持最多 11 路摄像头（含鱼眼）的同步视频生成和 RGB-LiDAR 联合生成，可通过文本提示和 World Scenario Map 控制场景结构与交通运动。
• Cosmos3-Nano-Sim-Auto 是 Transfer-Auto 的因果蒸馏流式版本，能在少量去噪步骤内生成同步摄像头视频和 LiDAR 的小块数据，利用生成历史和更新后的驾驶控制支持快速流式与长时交互推演。
• Cosmos3-Nano-Sim-Transfer 将物理模拟器的空间控制（深度、分割、边缘、模糊）和文本提示转化为逼真 RGB 视频，供策略消费；Cosmos3-Nano-Sim-Bimanual 则根据双臂机器人或摄像头的动作直接预测下一观测视频。
• 流式生成基于 Mixture-of-Transformers 骨干，通过时间因果注意力读取历史和控制并屏蔽未来目标观测，使用 KV 缓存保留注意力信息；初始图像后每个潜在时间步代表四帧 RGB。

关键数据

• 四个模型均为 16B 可训练参数
• Transfer-Auto 支持最多 11 路摄像头视角
• Sim-Bimanual 混合动作示例使用 59 个控制值，训练时填充至 64
• 每个潜在时间步代表 4 帧 RGB
• 发布的 vLLM-Omni 配置在单台 GB200 上测试

为什么值得看：NVIDIA 通过开放权重和后训练配方，为机器人和自动驾驶研究提供可适配、可比较的世界模型基础，推动交互式模拟环境的构建与评估。