MoSE3：在每个像素上学习世界空间 SE(3)

英文原标题：MoSE3: Learning World-Space SE(3) at Every Pixel

本文为英文原文的机器翻译摘要，原文见：arXiv cs.CV ↗

密集三维点跟踪一直是动态场景运动建模的重要范式，但点轨迹只是每个像素的三自由度平移曲线：它捕捉的是像素去向，而非底层部件的旋转，也无法判断哪些像素作为同一刚体一起运动。我们提出 MoSE3，这是首个从单目 RGB 视频预测密集 SE(3) 运动的前馈模型，可在世界空间中为每个像素生成完整的六自由度刚体变换。逐像素 SE(3) 运动提供了更丰富的场景运动视角：旋转、平移和分组信息同时呈现。直接预测 SE(3) 颇具挑战：旋转位于弯曲流形上，不适合欧几里得回归，且 SE(3) 标注尤其难以获取。为应对这些挑战，MoSE3 通过两个联合学习的中间量——三维点轨迹和刚性嵌入——来预测逐像素 SE(3)，并在每个软刚性聚类内通过可微拟合变换来恢复 SE(3)，从而实现端到端学习。