3、SIFT Flow：跨场景的密集对应及其应用

SIFT Flow：跨场景的密集对应及其应用

1. 相关工作

图像对齐，也称为图像配准或对应，是计算机视觉、计算机图形学和医学成像中的一个广泛话题，涵盖了立体视觉、运动分析、视频压缩、形状配准和目标识别等领域。图像对齐主要关注以下几个方面：
- 对齐特征 ：在图像对齐中，首先要定义用于建立图像对应关系的特征，即一种在不同图像间保持不变的图像测量。早期在立体视觉和光流中常采用亮度恒定假设，但由于光照、视角和噪声等因素，像素值用于图像匹配并不可靠。后来，相位、滤波器组、互信息和梯度等特征被用于图像匹配，它们比像素值更可靠，但仍难以处理剧烈变化。SIFT、形状上下文和方向梯度直方图（HOG）等中层表示被引入，以应对更强的外观变化，并在视觉跟踪、光流估计和目标识别等多种应用中被证明是有效的。然而，在场景层面建立对应关系的特征探索还较少。
- 对应表示 ：对应关系的表示是图像对齐的另一个重要方面。可以利用每个像素的信息获得密集对应，也可以仅使用稀疏特征点。对应形式可以是像素级位移，如一维视差图（立体视觉）和二维流场（光流），也可以是仿射和单应性等参数模型。通常，像素级位移通过像素级对应获得，参数运动通过稀疏兴趣点检测和匹配估计。在稀疏和密集表示之间是轮廓上的对应，已用于跟踪对象和分析无纹理对象的运动。由于场景间的潜在对应关系复杂且不明确，从场景中检测轮廓不可靠，因此我们寻求用于场景对齐的密集像素级对应。
- 计算方法 ：估计两个图像之间的密集对应是一个具有空间规律性的非平凡问题，即相邻像素的位移（流向量）往往相似。当两个图像的特征值接近且时间上平滑时，这种位移可以表示为连续变量，估计问题