3、SIFT Flow：跨场景的密集对应及其应用

SIFT Flow：跨场景的密集对应及其应用

1. 图像对齐相关工作回顾

图像对齐，也称为图像配准或对应，是计算机视觉、计算机图形学和医学成像中的一个广泛主题，涵盖了立体视觉、运动分析、视频压缩、形状配准和目标识别等领域。在图像对齐中，我们主要关注以下几个方面：
- 对齐特征的选择 ：在图像对齐中，首先要定义用于建立图像对应关系的特征，即从一幅图像到另一幅图像保持不变的图像测量值。早期在立体视觉和光流中常使用亮度恒常假设，但由于光照、视角和噪声的变化，像素值用于图像匹配并不可靠。后来，相位、滤波器组、互信息和梯度等特征被用于图像匹配，它们比像素值更可靠，但仍难以处理剧烈变化。中层表示如SIFT、形状上下文和方向梯度直方图（HOG）等被引入，以应对更强的外观变化，并在视觉跟踪、光流估计和目标识别等多种应用中被证明是有效的。然而，在场景级别探索用于建立对应关系的特征方面的研究还较少。
- 对应关系的表示 ：对应关系的表示是图像对齐的另一个重要方面。可以利用每个像素的信息来获得密集对应，也可以仅使用稀疏特征点。对应关系的形式可以是像素级的位移，如一维视差图（立体视觉）和二维流场（光流），也可以是参数模型，如仿射和单应性。通常，像素级位移通过像素级对应获得，而参数运动则从稀疏的兴趣点检测和匹配中估计。在稀疏和密集表示之间是轮廓上的对应，它已用于跟踪对象和分析无纹理对象的运动。由于场景之间的潜在对应关系复杂且不明确，并且从场景中检测轮廓可能不可靠，因此我们寻求用于场景对齐的密集、像素级对应。
- 对齐的计算方法 ：估计两幅图像之间的密集对应是一个具有空间规律性的非平凡问题，即相邻像素的位