40、图像拼接技术全解析

图像拼接技术全解析

1. 3D旋转运动模型下的图像对齐

在图像拼接中，3D旋转运动模型是一种重要的方法。例如，手持相机拍摄的四张图像可以使用3D旋转运动模型进行配准。在这个模型中，单应性矩阵并非任意的，而是具有明确的梯形形状，其宽度会随着远离原点而增加。

当计算增量旋转向量ω后，可以使用公式$R_1 \leftarrow R(\omega)R_1$来更新旋转矩阵$R_1$。而焦距估计的更新公式相对复杂，在其他文献中有相关介绍，同时在后续的某些方法中，会基于最小化反向投影的3D射线之间的差异来进行更新。

2. 间隙闭合问题

在创建大型全景图时，通过一系列旋转矩阵和焦距估计来拼接图像，可能会因为累积误差而无法形成封闭的360°全景图，通常会出现间隙或重叠的情况。

解决这个问题的方法是将序列中的第一张图像与最后一张图像进行匹配。这两张图像对应的旋转矩阵估计之间的差异，就表示了配准误差。可以通过以下步骤来解决：
1. 计算与这两个旋转相关的四元数的商，得到“误差四元数”。
2. 将“误差四元数”除以序列中的图像数量（假设帧间旋转相对恒定），将误差均匀分布在整个序列中。
3. 根据配准误差更新估计的焦距。先将误差四元数转换为间隙角度$\theta_g$，然后使用公式$f’ = f(1 - \theta_g/360°)$更新焦距。

例如，在某些示例中，错误的焦距估计（如$f = 510$）会导致最后一张图像和第一张图像之间出现32°的间隙，而使用正确的焦距（如$f = 468$）则可以消除这个间隙。不过，这种间隙闭合方法仅适用于相机沿同一方向连续旋转的“一维”全景图。

3. 图