41、图像拼接：从全局对齐到合成的全面解析

图像拼接：从全局对齐到合成的全面解析

1. 全局对齐

全局对齐是图像拼接的重要步骤，涉及到计算一些关键向量，具体公式如下：
1. (rg1 = )最小特征向量((\sum_{k} r_{k0}r_{k0}^T))
2. (rg0 = N((\sum_{k} r_{k}^2) \times rg1))
3. (rg2 = rg0 \times rg1)

其中，(N(v) = v / |v|) 用于对向量 (v) 进行归一化。

1.1 视差去除

在优化相机的全局方向和焦距后，拼接的图像可能仍存在未完美对齐的问题，如模糊或重影。这可能由多种因素导致，不同问题可采用不同方法处理：
- 径向畸变 ：可使用特定技术进行估计，例如铅垂线法，通过调整径向畸变参数使略微弯曲的线条变直；基于镶嵌的方法则在图像重叠区域减少配准误差。
- 3D 视差 ：可通过完整的 3D 束调整来处理，将投影方程替换为考虑相机平移的方程，同时恢复匹配特征点和相机的 3D 位置。若图像仅部分重叠，可在重叠区域使用多视角平面扫描（MPPS）算法校正视差。
- 场景运动 ：
- 当场景中物体运动较大时，可逐次选择单个图像的像素作为最终合成的源。
- 当运动较小时，可使用一般的 2D 运动估计（光流）进行局部对齐校正。

Shum 和 Szeliski（2000）提出的局部对齐技术，先进行全局束调整优化相机姿态，然后估计 3D 点的期望位置，计算目标位置与原始特征的差异得到局部运动估计，最后插值