【论文精读】ACE-Zero

今天读一篇ECCV 2024 oral的文章，Scene Coordinate Reconstruction: Posing of Image Collections via Incremental Learning of a Relocalizer，文章提出方法从无位姿图像中恢复相机参数，作者来自Niantic和Oxford。

项目地址：ACE0 (ACE Zero)

Abstract

本文提出了一种基于visual relocalizer的新颖结构，从无位姿图像中恢复相机参数（姿态和内参）。不同于传统基于特征匹配的SfM（如COLMAP），作者将SfM过程重新解释为基于 场景坐标回归 (Scene Coordinate Regression) 的增量重定位问题。该方法能无需位姿先验、高效地从上千张图像中重建隐式场景表示，并能达到接近传统SfM的姿态估计精度，最终通过新视角合成验证其效果。

1 Introduction

• 背景：SfM长期以来依赖局部特征匹配，如SIFT等，虽然精度高但依赖明确的特征和大量匹配。
• 挑战：近年来，NeRF等神经隐式表示方法崛起，但基于学习的SfM方法存在需要位姿先验、顺序输入或无法扩展到大规模数据的问题。
• 创新点：
  • 将Incremental SfM重新定义为visual relocalization的反复应用与优化过程。
  • 提出 ACE0 框架，从一张图像出发，无需位姿先验，迭代式优化图像的相机参数与隐式场景。

2 Related Work

1. Structure-from-Motion (SfM)

• 经典SfM基于图像特征匹配与三角化，结合Bundle Adjustment。
• Incremental SfM从少量图像出发，逐步扩展。
• Global SfM同步估计所有图像位姿。
• 现有挑战：特征匹配昂贵、对初始化敏感、难以扩展。

2. Visual Relocalization

• 场景坐标回归 (Scene Coordinate Regression) 能将图像像素直接预测为3D坐标，从而通过PnP+RANSAC估计相机位姿。
• 现有学习方法如ACE，表明使用SCR训练很快，但需位姿监督。
• 本文使SCR无需位姿先验，通过自监督实现。

3. Image-Based Rendering

• NeRF虽擅长新视角合成，但需要已知位姿，且训练慢。一些基于learning的方法也在试图估算pose，但是因为显存限制，也只能估算sparse sets的图像。
• 本文方法比NeRF类方法训练速度快。

3 Method

目标：从一组无位姿RGB图像中重建场景，并估计所有图像的相机位姿和内参。
输入：

• 一组无序 RGB 图像 I = { I i } \mathcal{I} = \{I_i\} I={Ii​}，未知相机内外参。

输出：

• 每张图像的相机参数 $\mathcal{H}=\{(K_i,T_i)\}$：
• 内参 $K_i$（焦距等，$3\times 3$ 矩阵）。
• 外参 $T_i$（rotation和translation，$3\times 4$ 矩阵）。

整个pipeline如下图：

1. Scene Coordinate Regression (SCR)

• 输入图像patch，输出对应3D坐标。
• 通过预测的2D-3D点对，结合PnP+RANSAC估计相机位姿。
• 无需已知位姿，通过自监督（重投影误差）优化。

2. 增量训练流程

• 从单张图像+初步深度 (如 ZoeDepth) 开始训练SCR。
• 每一轮：
  1. Relocalization: 使用当前SCR尝试为更多图像估计位姿。
  2. Neural Mapping: 使用新增图像优化SCR，联合优化相机位姿和场景坐标回归模型。
  3. Pose Refinement: 通过MLP对位姿进一步微调以减少重投影误差。

3. Calibration Refinement

• 自动优化焦距，假设主点居中，无失真。
• 以全图像共享焦距为假设，逐步调整以拟合场景。

4. Initialization

• 随机选择起始图像，结合深度初始化。
• 如果起始图像不佳，会影响重建，因此尝试多个种子选取效果最佳的进行重建。

4 Experiments

0. 数据集

• 7-Scenes（室内、RGB-D、带伪GT位姿）
• Mip-NeRF 360（小规模全景场景）
• Tanks and Temples（大规模、室内外混合）

1. 比较方法

• COLMAP（传统SfM）
• RealityCapture（商业SfM工具）
• NeRF系列（NoPe-NeRF、BARF）
• DUSt3R（learning-based SfM）

2. 评估方式

由于缺乏真实GT位姿，使用 新视角合成 (Novel View Synthesis) 评估，训练Nerfacto基于估计位姿渲染测试图像，计算PSNR、SSIM等指标。

3. 结果

结论：ACE0在速度和精度之间取得了平衡，重建速度远超基于特征的方法，精度接近COLMAP，显著优于现有NeRF-based和learning-based SfM方法。

5 Limitations and Conclusion

不足：

• 重复结构：对于如楼梯等重复纹理区域，场景坐标预测存在歧义。
• 大规模场景：单个MLP难以表达特别大的空间，需考虑后续分块等方法。
• 极端视角/光照变化：在大视差或昼夜变化下，重定位困难。
• 相机模型：目前仅支持针孔模型，未处理畸变参数。

总结：

ACE0 提供了一种全新的 SfM 思路：

• 无需特征匹配，无需位姿先验。
• 仅凭RGB图像即可重建，适用于数千图像大规模场景。
• 未来工作包括：增强重复结构处理、适应更复杂相机模型、提升极端视角重定位性能。