36、图像对齐与运动估计技术解析

图像对齐与运动估计技术解析

1. 平移对齐

1.1 增量细化

在图像对齐任务中，之前的技术一般能将对齐估计到最近的像素，若使用更小的搜索步长，还可能实现分数像素级别的估计。不过，像图像稳定和拼接这类应用，通常需要更高的精度才能得到理想的结果。

为了获得更精确的亚像素估计，有几种方法可供选择。一种是评估当前找到的最佳值附近的几个离散（整数或分数）的 $(u, v)$ 值，然后对匹配分数进行插值，以找到解析最小值。另一种更常用的方法是由 Lucas 和 Kanade 在 1981 年提出的，即对 SSD 能量函数进行梯度下降，利用图像函数的泰勒级数展开：
- SSD 能量函数近似 ：
- (E_{LK - SSD}(u + \Delta u) = \sum_{i}[I_1(x_i + u + \Delta u) - I_0(x_i)]^2 \approx \sum_{i}[I_1(x_i + u) + J_1(x_i + u)\Delta u - I_0(x_i)]^2 = \sum_{i}[J_1(x_i + u)\Delta u + e_i]^2)
- 其中，(J_1(x_i + u) = \nabla I_1(x_i + u) = (\frac{\partial I_1}{\partial x}, \frac{\partial I_1}{\partial y})(x_i + u)) 是 ((x_i + u)) 处的图像梯度或雅可比矩阵，(e_i = I_1(x_i + u) - I_0(x_i)) 是当前的强度误差。
- 光学流约束方程 ：上述 SSD 误差的