Image Processing and Analysis_15_Image Registration：Image registration methods a survey——2003

此主要讨论图像处理与分析。虽然计算机视觉部分的有些内容比如特 征提取等也可以归结到图像分析中来，但鉴于它们与计算机视觉的紧密联系，以 及它们的出处，没有把它们纳入到图像处理与分析中来。同样，这里面也有一些 也可以划归到计算机视觉中去。这都不重要，只要知道有这么个方法，能为自己 所用，或者从中得到灵感，这就够了。

注意：Registration可翻译为“配准”或“匹配”，一般是图像配准，特征匹配(特征点匹配)。

15. Image Registration
图像配准最早的应用在医学图像上，在图像融合之前需要对图像进行配准。在现在的计算机视觉中，配准也是一个需要理解的概念，比如跟踪，拼接等。在KLT中，也会涉及到配准。这里主要是综述文献。
[1998 MIA] Image matching as a diffusion process
[1992 PAMI] A Method for Registration of 3-D shapes
[1992] a survey of image registration techniques

[1996 MIA] Multi-modal volume registration by maximization of mutual information

[1997 IJCV] Alignment by Maximization of Mutual Information
[1998 MIA] A survey of medical image registration
[2003 IVC] Image registration methods a survey
[2003 TMI] Mutual-Information-Based Registration of Medical Survey
[2011 TIP] Hairis registration

 

翻译

图像配准方法调查——

作者：Barbara Zitova, Jan Flusser

 

摘要 -本文旨在介绍最近以及经典的图像配准方法。图像配准是叠加在不同时间，从不同视点和/或通过不同传感器拍摄的同一场景的图像(两个或多个)的过程。配准在几何上对齐两个图像(参考图像和感应图像)。所审查的方法根据其性质(基于区域和基于特征)以及图像配准过程的四个基本步骤进行分类：特征检测，特征匹配，映射功能设计以及图像变换和重采样。本文提到了该方法的主要贡献，优点和缺点。还讨论了图像配准和前景展望方面的问题。本文的主要目的是为涉及图像配准的研究人员提供全面的参考资料，无论特定的应用场合如何。2003 Elsevier B.V.保留所有权利。
 关键字：图像配准；特征检测；特征匹配；映射功能；重采样

1.简介  

图像配准是叠加从不同视点和/或由不同传感器在不同时间拍摄的同一场景的两个或多个图像的过程。它在几何上对齐两个图像，即参考图像和感应图像。由于不同的成像条件而引入了图像之间的当前差异。图像配准是所有图像分析任务中的关键步骤，在这些任务中，最终信息是从各种数据源(如图像融合，变更检测和多通道图像恢复)的组合中获得的。通常，在医学(结合计算机断层扫描(CT))中，遥感(多光谱分类，环境监测，变化检测，图像拼接，天气预报，创建超分辨率图像，将信息集成到地理信息系统(GIS)中)需要配准。和NMR数据以获取有关患者的更完整信息，监视肿瘤生长，治疗验证，将患者数据与解剖图谱进行比较)，制图(地图更新)和计算机视觉(目标定位，自动质量控制)，仅举几例。

 在过去的几十年中，图像采集设备经历了快速的发展，并且获得的图像的数量和多样性不断增加，从而引发了对自动图像配准的研究。Brown于1992年对图像配准方法进行了全面调查[26]。本文的目的是涵盖稍后介绍的相关方法，并以此方式映射配准技术的当前发展。根据科学信息研究所(ISI)的数据库，在过去十年中，有关图像配准的主题发表了1000多篇论文。为了保持连续性并提供图像配准研究的完整视图，还包括1992年之前发布的成为经典或引入关键思想的方法，这些方法仍在使用中。我们不打算讨论特定算法的细节或描述结果。比较实验，我们想总结主要方法并指出配准方法的有趣部分。

 在第2节中，将讨论图像配准的各个方面和问题。第3节介绍了基于区域的方法和基于特征的方法。第4节介绍了用于特征匹配的现有算法。映射函数设计的方法在第5节中给出。最后，第6节概述了图像转换和重采样的主要技术。图像配准精度的评估在第7节中介绍。第8节总结了配准方法研究的主要趋势，并展望了未来。

2.图像配准方法  

如上所述，图像配准已广泛用于遥感，医学成像，计算机视觉等。根据图像采集的方式，通常将其应用分为四个主要组：

不同的视点(多视点分析) 。从不同的视角获取同一场景的图像。目的是获得扫描场景的更大的2D视图或3D表示。

应用示例：遥感-对被调查区域的图像进行马赛克处理。计算机视觉—形状恢复(从立体形状恢复)。

不同时间(多时相分析)。同一场景的图像通常是在不同时间(可能有规律地)在不同时间获取的。目的是发现并评估在连续图像采集之间出现的场景变化。

应用示例：遥感-监控全球土地使用情况，景观规划。计算机视觉-自动更改检测，用于安全监控，运动跟踪。医学成像-监测治疗效果，监测肿瘤进展。

 不同的传感器(多模式分析)。同一场景的图像由不同的传感器获取。目的是整合从不同源流获得的信息，以获得更复杂和详细的场景表示。

 应用示例：遥感-融合来自具有不同特征的传感器的信息，例如全色图像，提供更好的空间分辨率，具有更好的光谱分辨率的彩色/多光谱图像或与云层和太阳照度无关的雷达图像。医学成像-结合记录人体解剖结构(如磁共振图像(MRI)，超声或CT)的传感器与监测功能和代谢性人体活动的传感器(如正电子发射断层扫描(PET)，单光子发射计算机断层扫描(SPECT)或磁共振波谱)的组合(太太)。结果可以应用于例如放射治疗和核医学。

 场景到模型配准。记录场景的图像和场景的模型。该模型可以是场景的计算机表示，例如GIS中的地图或数字高程模型(DEM)，具有相似内容的另一个场景(另一个患者)，“平均”样本等。目的是将获取的图像定位在场景/模型和/或进行比较。

 应用示例：遥感-将航空或卫星数据配准到地图或其他GIS层中。计算机视觉-目标模板与实时图像匹配，自动质量检查。医学成像-将患者的图像与数字解剖图谱，标本分类进行比较。

 由于要配准的图像的多样性以及各种类型的劣化，因此无法设计适用于所有配准任务的通用方法。每种方法不仅应考虑图像之间几何变形的假定类型，还应考虑辐射变形和噪声破坏，所需的套准精度以及与应用相关的数据特征。

尽管如此，大多数配准方法还是由以下四个步骤组成(见图1)：  

图1.图像配准的四个步骤：第一行-特征检测(在这种情况下，将角用作特征)。 中间行-通过不变描述符进行功能匹配(相应的对用数字标记)。 左下方-利用已建立的对应关系进行变换模型估计。 右下角-使用适当的插值技术进行图像重采样和变换。

†特征检测。突出的和独特的对象(边界边界区域，边缘，轮廓，直线相交，角等)是手动或最好自动检测的。为了进行进一步处理，这些特征可以用它们的点代表(重心，线尾，独特点)表示，在文献中称为控制点(CP)。
†功能匹配。在该步骤中，建立在感测图像中检测到的特征与参考图像中检测到的特征之间的对应关系。
为此，使用了各种特征描述符和相似性度量以及特征之间的空间关系。
†变换模型估计。估计将感测的图像与参考图像对准的所谓的映射函数的类型和参数。映射函数的参数通过已建立的特征对应关系进行计算。
†图像重采样和变换。所感测的图像借助于映射功能被变换。非整数坐标中的图像值通过适当的插值技术计算。

 每个配准步骤的实施都有其典型的问题。首先，我们必须决定哪种功能适合给定的任务。这些特征应该是与众不同的对象，它们经常散布在图像上并且易于检测。通常，需要特征的物理可解释性。

在参考图像和感应图像中检测到的特征集必须具有足够的公共元素，即使在图像未完全覆盖相同场景或存在物体遮挡或其他意外更改的情况下也是如此。检测方法应具有良好的定位精度，并且对假定的图像质量不敏感。在理想情况下，该算法应该能够在场景的所有投影中检测到相同的特征，而不管特定的图像变形如何。

 在特征匹配步骤中，可能会出现由错误的特征检测或图像质量下降引起的问题。由于不同的成像条件和/或由于传感器的光谱灵敏度不同，因此物理上对应的特征可能会有所不同。特征描述和相似性度量的选择必须考虑这些因素。特征描述符应该与假定的降级无关。同时，它们必须具有足够的可分辨性，以便能够在不同的特征之间进行区分，并且必须足够稳定，以免受到轻微的意外特征变化和噪声的影响。在不变空间内的匹配算法应该是鲁棒且有效的。在另一张图片中没有相应对应内容的单个功能不应影响其性能。

 映射函数的类型应根据有关采集过程和预期图像质量的先验信息进行选择。如果没有先验信息可用，则该模型应具有足够的灵活性和通用性，以处理可能出现的所有可能的降级。还需要考虑特征检测方法的准确性，特征对应估计的可靠性以及可接受的近似误差。而且，必须做出关于必须通过配准去除图像之间的哪些差异的决定。如果目标是检测变更，则最好不要删除我们正在寻找的差异。这个问题非常重要，也非常困难。

最后，适当类型的重采样技术的选择取决于所需的插值精度与计算复杂度之间的权衡。在大多数情况下，最近邻或双线性插值已足够。但是，某些应用程序需要更精确的方法。

由于其在各种应用领域中的重要性以及其复杂的性质，图像配准已成为许多近期研究的主题。历史上第一篇调查论文[64]主要涵盖了基于图像相关性的方法。参考文献[26]也许是对通用图像配准方法的最详尽的综述。参考文献[86,111,123,195]总结了特别应用于医学成像的配准技术。参考文献[9]综述了医学成像中基于表面的配准方法。基于卷的配准在参考文献[40]中进行了审查。在[59，81,106]中描述和评估了主要应用于遥感的配准方法。范德比尔特大学开展了各种配准方法的大型评估项目[206]。

可以根据各种标准对配准方法进行分类。通常使用的是应用领域，数据维数，假定图像变形的类型和复杂性，计算成本以及配准算法的基本思想。在这里，考虑到将配准分解为所描述的四个步骤，根据基本思想选择分类。根据其主要贡献涵盖了超出此四步框架的技术。

3.特征检测

以前，要素是由专家手动选择的对象。在此配准步骤的自动化过程中，形成了两种主要的特征理解方法。

3.1 基于区域的方法

基于区域的方法将重点放在特征匹配步骤上，而不是其检测上。在这些方法中未检测到任何特征，因此省略了图像配准的第一步。属于该类的方法将在与其他配准步骤相对应的部分中进行介绍。

3.2 基于特征的方法

第二种方法是基于图像中的显着结构(特征)的提取。重要区域(森林，湖泊，田野)，线(区域边界，海岸线，道路，河流)或点(区域角，线相交，曲线上的点具有高曲率)在此处被理解为特征。它们应该是不同的，分布在整个图像上，并且在两个图像中都可以有效地检测到。在整个实验过程中，它们会及时稳定在固定位置。

通过特征检测器的不变性和准确性以及通过重叠准则来确保在感测图像和参考图像中特征集的可比性。换句话说，无论图像几何形状，辐射条件，附加噪声的存在以及所扫描场景的变化如何，所检测到的特征集的公共元素的数量应足够高。这些功能的定义暗示了这些功能的“卓越性”。与基于区域的方法相比，基于特征的方法不适用于图像强度值。这些功能代表更高级别的信息。此属性使基于特征的方法适用于预期照明变化或需要多传感器分析的情况。

区域特征。类似区域的特征可以是适当大小的一般高对比度封闭边界区域[54,72]，水库和湖泊[71,88]，建筑物[92]，森林[165]，城市区域的投影[161]或阴影[24]。封闭边界区域的一般标准是普遍的。这些区域通常由其重心表示，这些重心在旋转，缩放和倾斜方面是不变的，并且在随机噪声和灰度级变化下保持稳定。

区域特征通过分割方法来检测[137]。分割的准确性会显着影响所得配准。 Goshtasby等人[72]提出了细分流程的改进措施，以提高配准质量。图像的分割是与配准一起反复进行的；在每次迭代中，使用对象对应关系的粗略估计来调整分割参数。他们声称可以实现亚像素配准的准确性。

近来，关于尺度变化不变的区域特征的选择引起了关注。 Alhichri和Kamel [2]使用距离变换提出了虚拟圆的想法。仿射不变邻域在[194]中进行了描述，基于哈里斯拐角检测器[135]和经过检测到的拐角的边缘(弯曲或笔直)。 Matas等人[127]提出了一种基于图像强度均匀性的使用最大稳定极值区域的方法。

线特征。线特征可以是医学成像中一般线段[92,132,205]，对象轮廓[36、74,112]，沿海线[124,168]，道路[114]或细长解剖结构[202]的表示。线对应关系通常用线末端或中点对表示。

标准的边缘检测方法，如Canny检测器[28]或基于高斯拉普拉斯算子的检测器[126]，都用于线特征检测。在[222]中可以找到对现有边缘检测方法及其评估的调查。李等。[112]提出利用在参考图像(光学数据)中已经检测到的特征来检测感测图像(具有斑点噪声的SAR图像，这是在这种类型的数据中存在的典型劣化)中的线的检测。他们应用了弹性轮廓提取。 Maintz等人[121,122]提出了对多峰医学图像中特征边缘检测和脊检测的不同算子的比较。

点要素。点要素组包括以下方法：线交点[175,198]，道路交叉口[79,161]，水区域的质心，油气垫[190]，高方差点[45]，使用Gabor小波检测到的局部曲率不连续性[ 125、219]，曲线[3,11]的拐点，小波变换的局部极值[58,90]，相对于指定的相似度度量[115]以及角[20,92,204]最有特色的点。

在大多数情况下，特征检测器的核心算法遵循“点”的定义，即线相交，闭合边界区域的质心或小波变换的局部模量最大值。拐角形成特定的特征类别，因为很难用数学方法定义“成为拐角”属性(直觉上，拐角被理解为区域边界上的高曲率点)。在开发精确，鲁棒和快速的拐角检测方法上已经花费了很多精力。在参考文献[155,172,220]中可以找到对拐角检测器的调查，在参考文献[156]中可以找到最新，最详尽的信息。后者还分析探测器的定位特性。角点被广泛用作CP，主要是因为它们对成像几何形状的不变性以及因为它们被人类观察者很好地感知。

Kitchen and Rosenfeld [101]提出将图像函数的二阶偏导数用于角点检测。 Dreschler和Nagel [43]搜索了高斯曲率的局部极值。然而，基于图像函数的二阶导数的角检测器对噪声敏感。因此，Forstner [62]开发了一种更健壮但耗时的拐角检测器，它仅基于一阶导数。著名的哈里斯探测器(也称为普莱西探测器)[135]实际上是其倒数。参考文献[107]中描述了Forstner检测器的应用，该检测器用于牙种植体图像的配准。

Smith和Brady [173]在他们强大的SUSAN方法中选择了更直观的方法。作为标准，他们使用与中央像素相同颜色的区域大小。 Trajkovic和Hedley [192]使用这样的想法设计了他们的算子，即在各个方向上拐角处的图像强度变化应该很大。
最近，Zitova´等人[224]提出了一种不使用任何导数的参数拐角检测器，其设计用于处理模糊和嘈杂的数据。 Rohr等。设计的拐角检测器，甚至用于3D数据，也允许用户交互[158]。

检测点的数量可能非常高，这增加了配准所需的计算时间。几位作者提出了一种有效选择点子集(优于随机点)的方法，该方法不会降低所得配准的质量。 Goshtasby [71]仅使用了属于整个集合的凸包的点。 Lavine [104]提出使用构成集合的最小生成树的点。埃勒斯[45]将点合并为“团块”，即密集的大型团簇。

3.3 摘要

总而言之，如果图像包含足够鲜明且易于检测的对象，则建议使用基于特征的方法。通常是在遥感和计算机视觉中的应用情况。典型的图像包含很多细节(城镇，河流，道路，森林，房间设施等)。另一方面，医学图像的细节不是那么丰富，因此这里通常采用基于区域的方法。有时，可以通过专家进行交互式选择或通过引入相对于患者严格定位的外部特征(皮肤标记，螺丝标记，牙科适配器等)来解决医学图像中缺乏独特对象的问题[123]。参考文献中分析了基于区域和基于特征的方法对具有各种对比度和清晰度的图像的适用性。 [151]。最近，同时使用基于区域和基于特征的方法的配准方法开始出现[85]。

4.特征匹配

参考图像和感测图像中的检测到的特征可以通过它们附近的图像强度值，特征空间分布或特征符号描述进行匹配。一些方法在寻找特征对应时，同时估计映射函数的参数，从而合并第二和第三配准步骤。

在以下段落中，将保留两个主要类别(分别是基于区域的方法和基于特征的方法)，并根据匹配方法的基本思想将其进一步分类为子类别。

4.1 基于区域的方法

基于区域的方法，有时也称为类似关联的方法或模板匹配[59]，将特征检测步骤与匹配部分合并在一起。这些方法处理图像时不会尝试检测突出的对象。在第二配准步骤[4,12,145]中，将预定义大小的窗口甚至整个图像用于对应估计。

基于区域的方法的局限性在于其基本思想。首先，最常使用的矩形窗口适合于仅通过平移而局部不同的图像配准。如果图像因更复杂的变换而变形，则这种类型的窗口将无法覆盖参考图像和感应图像中的场景相同部分(矩形可以转换为其他形状)。几位作者提出将圆形的窗口用于相互旋转的图像。但是，如果在图像之间存在更复杂的几何变形(相似性，透视变换等)，也会破坏这种简单形状的窗口的可比性。

基于区域的方法的另一个缺点是窗口内容的“显着性”。由于没有显着性，包含平滑区域但没有任何突出细节的窗口很可能会与参考图像中的其他平滑区域不正确地匹配。应当优选在图像的独特部分中检测出配准特征。 Windows的选择通常不是基于其内容评估的，因此可能没有此属性。

经典的基于面积的方法(例如互相关(CC))可直接匹配图像强度，而无需进行任何结构分析。因此，它们对强度变化敏感，例如，噪声，变化的照明和/或使用不同的传感器类型会引起强度变化。

4.1.1 类相关方法

基于面积的方法的经典代表是归一化的CC及其修改[146]。

从感测到的参考图像为窗口对计算相似度，并搜索其最大值。将达到最大值的窗口对设置为对应的窗口对(参见图2)。如果需要配准的子像素精度，则需要使用CC测量值的插值。尽管基于CC的配准只能精确对齐相互翻译的图像，但是当出现轻微旋转和缩放时，也可以成功应用。

图2.基于区域的匹配方法：使用归一化互相关(中间行)和相位相关(底部行)将小模板配准到整个图像。 最大值标识匹配位置。 该模板具有与参考图像相同的光谱带(左侧的图表示红色通道匹配)，具有不同的光谱带(右侧的图显示红色-蓝色通道匹配)。 通常，在多模态数据的情况下，归一化互相关可能会失败。

CC的通用版本适用于几何形状更变形的图像。他们为检测到的图像窗口的每个假定的几何变换计算CC [83]，并且比平移(通常是相似变换)能够处理更复杂的几何变形。 Berthilsson [17]试图以这种方式记录甚至是仿射变形的图像，Simper [170]提出使用分治系统和CC技术来记录因透视图变化以及镜头缺陷而变化的图像。但是，随着转换复杂度的增加，计算负荷会快速增长。如果要配准的图像/对象被部分遮挡，则可以应用基于增量符号相关性的扩展CC方法[98] [99]。

类似于CC方法的是顺序相似度检测算法(SSDA)[12]。与CC相比，它使用顺序搜索方法和计算上更简单的距离度量。它累加图像强度值的绝对差之和(矩阵L1范数)并应用阈值标准-如果累加的总和超过给定阈值，则来自参考图像和感测图像的候选窗口对将被拒绝，下一对是经过测试。该方法可能不如CC准确，但速度更快。参考文献[211]使用了平方差相似度总和。使用分段仿射估计来分解分解为小块的图像，从而对透视变形进行迭代估计。

近来，在多模式配准领域已经引起了对基于相关比率的方法的极大兴趣。与经典CC相反，这种相似性度量可以处理由于使用不同传感器(多模式图像)而导致的图像之间的强度差异。它假定强度依赖性可以由某些函数表示。参考文献[154]发现了该方法与针对多峰数据开发的其他几种算法的比较。在具有某些特征的噪声图像(固定模式噪声)的情况下，基于投影的配准[27]分别处理累积的图像行和列，其性能优于经典CC。

Huttenlocher等人[95]提出了一种与其他类型的相似性度量一起使用的方法。他们通过Hausdorff距离(HD)记录通过平移或平移加旋转转换后的二进制图像(边缘检测器的输出)。他们将基于HD的算法与CC进行了比较。尤其是在像素位置受到干扰的图像上，这对于CC来说是问题所在，HD优于CC。

类相关方法的两个主要缺点是相似性度量最大值的平坦性(由于图像的自相似性)和较高的计算复杂性。可以通过预处理或使用边缘或矢量相关性来锐化最大值。 Pratt [145]在配准之前应用了图像过滤功能，以提高对嘈杂或高度相关图像的CC性能。 Van Wie [196]和Anuta [6]采用基于边缘的相关性，该相关性是根据从图像提取的边缘而不是原始图像本身计算的。以这种方式，该方法对参考图像和感测图像之间的强度差异也不那么敏感。这种方法的扩展称为基于矢量的相关性，它使用窗口的各种表示来计算相似性度量。

尽管有上述限制，但类似相关的配准方法仍经常使用，特别是由于其易于实现的硬件，这使其在实时应用中很有用。

4.1.2 傅立叶方法

如果需要加快计算速度，或者如果图像是在变化的条件下获取的，或者图像因频率相关的噪声而损坏，则首选傅里叶方法，而不是类似相关的方法。他们利用频域中图像的傅立叶表示。相位相关方法基于傅立叶位移定理[23]，最初是为翻译图像的配准而提出的。
它计算感测到的图像和参考图像的交叉功率谱，并寻找峰的倒置位置(见图2)。


该方法对相关和频率相关的噪声以及不均匀的时变照明干扰显示出强大的鲁棒性。如果要配准的图像很大，则节省的计算时间会更大。

De Castro和Morandi [29]引入了相位相关性的扩展，用于附加的旋转变换。如果图像比例尺也存在变化