新闻 · arXiv cs.CV
Spool:面向混合视觉语言模型的低延迟流式推理
视觉无障碍智能体和机器人等应用需要在有限的过去帧窗口(例如最近两分钟)内,及时回答关于近期视频内容的问题。混合视觉语言模型(VLM)将注意力与门控 DeltaNet(GDN)等线性循环层交错,在此场景下颇具吸引力,但维护滑动窗口的代价高昂。原因在于循环层将所有过去帧合并为一个共享状态,因此使旧帧过期通常需要将整个窗口重新通过模型运行。我们观察到,循环更新在状态上是仿射的,且系数依赖于输入,因此每一帧的影响可以捕获为一种可结合复合的变换。我们提出 Spool,一个免训练框架,它缓存每帧的状态变换,并在窗口推进时高效地复合这些变换,从每个循环层的状态中移除过期帧,而无需将帧重放通过
en
