NVIDIA Cosmos3-H-Dreams：通过生成式仿真让临床手术栩栩如生

英文原标题：NVIDIA Cosmos3-H-Dreams: Bringing Clinical Surgery to Life Through Generative Simulation

本文为英文原文的机器翻译摘要，原文见：Hugging Face Blog ↗

• NVIDIA 发布 Cosmos3-H-Dreams，将交互式生成模拟扩展到临床手术场景，基于 Cosmos 3 和 FlashDreams 加速，可在单张 RTX PRO 6000 GPU 上实时运行。
• 该模型从 CMR Surgical Versius 平台采集的临床胆囊切除术视频与机器人运动学数据中学习，据称是首个基于临床胆囊切除术记录训练、支持实时运动学控制的生成式手术模拟器。
• 相比此前基于 Cosmos-Predict2.5 的桌面缝合模拟，新模型需处理组织牵拉、遮挡、烟雾等复杂体内动态，并保持解剖结构与器械的时序一致性。
• 训练采用教师-学生蒸馏流程：先微调双向教师模型（24 帧扩展至 72 帧），再通过因果教师强制和 Self-Forcing 训练因果学生模型，发布四步和两步去噪检查点。
• FlashDreams 运行时使用改进的 FadeMem 模块整合长序列中的键值缓存，以支持长时间自回归生成；模型可适配其他数据集和控制器，但需遵循相同动作约定与归一化。

关键数据

• Cosmos3-H-Embodied-Nano 为 160 亿参数模型，基于 Open-H-Embodiment 预训练。
• 动作维度为 28 维，包括双臂位姿与夹爪、能量控制、摇杆轴和按钮。
• 训练视频分辨率为 832 x 480，动作对齐频率为 10 Hz。
• 教师模型先适应 24 帧未来帧，后扩展至 72 帧（10 Hz 下 2.4 秒和 7.2 秒）。
• 发布四步和两步去噪检查点，两步模型单独训练而非简单减少采样步数。

引语

• 据我们所知，这是首个基于临床胆囊切除术记录训练、支持实时运动学控制的生成式手术模拟器。

为什么值得看：该工作展示了生成式世界模型在临床手术模拟中的实时交互能力，为手术机器人训练和新型手术动作探索提供了不同于数值模拟的路径。