阅读笔记（CVPR2015）Non-Rigid Registration of Images With Geometric and Photometric Deformation......

《Non-Rigid Registration of Images With Geometric and Photometric Deformation by Using Local Affine Fourier-Moment Matching》

参考文献：Su, Hong-Ren, and Shang-Hong Lai. "Non-rigid registration of images with geometric and photometric deformation by using local affine Fourier-moment matching." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015.

0.摘要

从不同视点或在不同光照条件下使用不同相机拍摄的图像之间的配准是一个具有挑战性的问题。 它不仅需要解决几何配准问题，还需要解决光度匹配问题。 在本文中，我们建议基于局部仿射Fouriermoment匹配框架估计两个图像之间的集成几何和光度变换，该框架被开发用于实现可变形配准。 我们将局部傅立叶矩约束与平滑约束相结合，以确定层级块模型中的局部仿射变换。 我们通过大颜色和几何变换来记录一些真实图像的实验结果表明，与现有技术的图像配准方法相比，所提出的配准算法提供了优越的图像配准结果。

1.简介

图像配准是许多领域[5] [27]中的一个非常基本的问题，例如计算机视觉，图像处理，计算机图形等。 然而，可以从不同的传感器获取图像，具有不同的相机获取设置，在不同的照明条件下，或者从不同的视点。 因此，强度和颜色可能在要登记的图像之间不具有相同的分布[18]，这使得传统的几何配准[8] [12]方法容易失败。 图1显示了这种具有非常不同照明条件的图像配准问题。 例如，一些图像在不同时间捕获相同的场景，例如在夏季或冬季获得的不同山景，并且城市视图随着不同的交通流量而变化。 部分匹配是图像配准的另一个挑战性问题。

可用的策略是在注册图像之前模拟和校正在不同成像条件下的外观变化。提出了彩色光流[2] [23]，Eigenflows [19]和NRDC [25]，以将目标图像转换为与用于颜色变换和光度不变图像表示的参考图像相似的颜色分布。然而，模拟外观变化的所有可能性是不可能的，因此当彩色图像包含大的曝光差异或两个图像之间存在很少的对应点时，配准问题变得非常具有挑战性。

因此，大多数先前关于在不同相机和环境条件下拍摄的图像配准的研究工作基于特征点对应。基于SIFT的特征匹配方法[17]，如SURF [4]，A-SIFT [20]，SIFT流[16]和CSIFT [1]，对光照变化具有很强的鲁棒性，可以认为是光度学的弱形式不变性[15]。尽管基于SIFT的特征匹配对于照明变化是稳健的，但是特征点匹配的准确性随着外观变化的增加而降低。实际上，从不同传感器或照明条件获取的图像的配准精度通常非常有限[3]。 Lin等人提出的最新方法。 [15]，类似于SIFT流程，可以处理光度和几何配准问题。然而，他们的方法也基于特征匹配，并且它非常复杂并且计算上昂贵。

另一种常见的图像配准方法[8] [12]是基于最小化由特定图像距离测量定义的成本函数，例如基于梯度的方法[6]，直方图颜色映射[24] [13]和色调映射的非线性匹配（MTM）[9]。图像距离测量对于图像配准的准确性非常关键。提出MTM并证明其在色调映射图像配准方面表现良好。图像配准的性能受到要优化的成本函数中隐含的假设的限制。沉等人。 [21]提出了一种新的测量方法，称为鲁棒选择性归一化互相关（RSNCC），它结合光流来记录不同类型的图像，他们的方法可以很好地处理这个问题。另一个想法是在同一框架中解决几何和光度配准问题，例如Kovalsky等。 [14]。他们使用非线性方法来校正颜色变换，并使用全局仿射模型进行几何配准。

在本文中，我们提出了一种基于傅里叶矩匹配（FMM）的加权重叠局部仿射图像配准算法[22]。 该算法不仅可以同时处理图像光度和几何变换，还可以使用加权局部仿射模型处理部分匹配。 可以通过所提出的分层方法来解决变换参数。 此外，我们的方法比我们实验中的先前方法更有效。

2.主要的贡献

FMM [22]基于以下事实：两个图像之间的仿射变换对应于它们的傅立叶光谱之间的相关仿射变换，其能量通常集中在频域中的原点周围。 然后，可以通过最小化两个图像的傅里叶谱的矩之间的仿射关系来解决仿射变换。 FMM可以轻松应用于2D和3D图像。 因此，两个图像之间的光度变换可以被认为是具有L，a和b颜色轴的三维颜色直方图配准以及来自它们在每个图像像素中的Lab颜色的对应频率的强度。 通过基于傅里叶矩匹配的二维几何图像配准和三维光度配准的集成，我们可以解决不同光照下的仿射图像配准问题。

为了使算法更适用于不同的视点变化，图像失真或图像拼接，我们提出了一种基于FMM的加权重叠局部仿射配准的两步分层框架。第一步是通过在相应的边缘图上使用图像块投票方法找到两个图像之间的粗略对应区域，然后通过使用FMM估计光度和几何变换中的全局仿射参数。第二步是通过将图像划分为小的重叠块来找到图像中每个像素的准确位置，并且每个块与其自己的局部仿射参数相关联，这些参数通过最小化由FMM约束和空间组成的能量函数来确定。局部仿射参数的平滑约束。通过使用分层方案将图像分解为从粗尺度到精细尺度的块，我们可以有效地估计局部仿射参数。

为了提高配准精度，我们还在所提出的方法中使用边缘信息。 我们考虑强度和边缘信息中的光度和几何配准。 我们还在每个重叠的局部仿射中添加权重函数以提高准确性，尤其是对于部分匹配。 此外，层级框架中的局部仿射模型可以提高准确性，但需要更多的时间复杂度。 我们可以根据层次框架的属性加速算法。 我们在本文中的贡献可归纳如下：

      1.我们将基于FMM的全球仿射注册扩展到用于非刚性配准的分层局部仿射模型，以处理光度和几何配准。

      2.我们提出了一个两步分层估计框架来估计局部仿射参数。

      3.在每个FMM约束块中，我们自适应地组合边缘信息和颜色信息，以估计每个局部仿射模型，以提高配准精度。

本文的其余部分组织如下：在下一节中，介绍了用于图像配准的FMM框架。 随后，我们通过在第3节中使用加权重叠局部仿射模型将其扩展用于非刚性配准。实验结果在第4节中给出以证明所提出的图像配准算法。 最后，我们在第5节中总结了本文。