新闻 · arXiv cs.CV
FastFrames:交互级延迟的视频生成
自回归视频扩散模型基于新的观测和输入生成帧,使其成为交互式视觉体验的有前景媒介。然而,现有模型的速度比流畅交互所需慢了几个数量级。本文提出 FastFrames,一系列快速自回归视频扩散模型,在不牺牲质量的前提下实现交互级延迟。我们剖析了最先进模型的推理流水线,发现通常被视为固定实现细节的操作,如 VAE 解码和 KV 缓存更新,实际上占端到端推理延迟的一半以上。我们挑战这些组件不可或缺的假设,并用轻量级替代方案替换它们。我们的 1.3B 变体在单块 B200 GPU 上以每帧 36 毫秒、即每秒 28 次响应(RPS)运行,同时匹配速度慢近 8 倍的最先进模型的生成质量。我们的 14B 变体在 8 块
en
