解码器越少，编码器越强：从新视角合成中进行几何表示学习

英文原标题：Less Decoder is More Encoder: Geometric Representation Learning from Novel View Synthesis

本文为英文原文的机器翻译摘要，原文见：arXiv cs.CV ↗

本文探讨了新视角合成（NVS）在几何表示学习中的作用。原则上，NVS 应能推理三维场景结构，从而获得可迁移的多视角几何表示。然而，现有的基于编码器的 NVS 方法产生的表示质量较差。这并非因为缺乏监督信号，而是由于一些不显眼的架构选择：空间表达能力强的解码器稀释了场景编码器的表示能力，而低层次的像素空间目标阻碍了特征学习。我们提出了 SNAP，一种自监督的编码器-解码器 Transformer，通过姿态条件化的局部解码器和潜在空间重建目标来解决这两个问题。SNAP 与任务无关，我们证明其性能可与专门的几何监督方法相媲美。在视觉定位、姿态估计、点云等五项任务上，SNAP 也展现出与自监督表示方法相当的性能。