英文原标题:Google’s Genie 4 world model adds audio, more realistic worlds, and real-time steering

本文为英文原文的机器翻译摘要,原文见:TechCrunch AI ↗

  • Google DeepMind 发布 Genie 4 世界模型研究预览版,可生成迄今最逼真、可交互的虚拟世界,支持在模拟过程中输入提示实时改变场景。
  • Genie 4 新增实时音频生成,能匹配模拟世界中的音乐、环境音和交互对话;同时支持自由编辑,如实时改变天气、相机角度或添加人物物体。
  • 场景一致性维持时间提升至两分钟,是前代 Genie 3 的两倍,物理效果和角色拟人度也有改进。
  • Gemini 与 Genie 4 深度集成,Gemini 负责规划步骤和检查帧,Genie 负责生成画面;在 Gemini Robotics 相关实验中,Gemini 4 Argon 将任务拆解为步骤,由 Genie 4 实时模拟。
  • Google 研究总监 Tejas Kulkarni 提出未来将出现混合世界模型,即 Gemini 编写代码和文本、Genie 实时接收并模拟现实。

关键数据

  • Genie 4 可维持场景一致性长达两分钟,是前代 Genie 3 的两倍
  • Genie 3 约一年多前作为研究预览发布
  • Runway 在约两个月前发布了第二款世界模型 GWM Worlds 2
  • World Labs 被 AMD 收购,亚马逊正洽谈收购 Decart,Rivian 收购 Third Dimension

引语

  • “未来会越来越多地看到这些混合世界模型”
  • “实时性在创意领域保持心流状态时最有价值”

为什么值得看:Genie 4 在逼真度、音频和实时编辑上的提升,以及 Gemini 与 Genie 的协同,展示了世界模型在游戏、机器人和影视原型等领域的应用潜力,同时行业整合正在加速。

站内导航