Image Processing and Analysis_15_Image Registration：Image matching as a diffusion process: An analog...

此主要讨论图像处理与分析。虽然计算机视觉部分的有些内容比如特 征提取等也可以归结到图像分析中来，但鉴于它们与计算机视觉的紧密联系，以 及它们的出处，没有把它们纳入到图像处理与分析中来。同样，这里面也有一些 也可以划归到计算机视觉中去。这都不重要，只要知道有这么个方法，能为自己 所用，或者从中得到灵感，这就够了。

注意：Registration可翻译为“配准”或“匹配”，一般是图像配准，特征匹配（特征点匹配）。

15. Image Registration
图像配准最早的应用在医学图像上，在图像融合之前需要对图像进行配准。在现在的计算机视觉中，配准也是一个需要理解的概念，比如跟踪，拼接等。在KLT中，也会涉及到配准。这里主要是综述文献。
[1998 MIA] Image matching as a diffusion process: An analogy with Maxwell's demons
[1992 PAMI] A Method for Registration of 3-D shapes
[1992] a survey of image registration techniques

 

[1996 MIA] Multi-modal volume registration by maximization of mutual information

[1997 IJCV] Alignment by Maximization of Mutual Information
[1998 MIA] A survey of medical image registration
[2003 IVC] Image registration methods a survey
[2003 TMI] Mutual-Information-Based Registration of Medical Survey
[2011 TIP] Hairis registration

 

若引用文献：Thirion J P . Image matching as a diffusion process: An analogy with Maxwell's demons[J]. Medical Image Analysis, 1998, 2(3).

翻译

图像匹配作为扩散过程：与Maxwell的demons类比——http://tongtianta.site/paper/58305

作者：J.-P. Thirion

http://www.inria.fr/epidaure/personnel/thirion/thirion.html

摘要 -在本文中，我们提出了扩散模型以执行图像到图像匹配的概念。具有两个匹配的图像，主要思想是将一个图像中的对象边界视为半透膜，并通过位于界面内的效应器的作用，使另一图像(被视为可变形网格模型)通过这些界面扩散。膜。我们通过与Maxwell的demons类比来说明这一概念。我们表明，基于吸引力，该概念与更传统的概念有关，中间步骤是光流技术。我们使用扩散模型的概念来推导三种不同的非刚性匹配算法，一种使用静态图像中的所有强度级别，一种仅使用轮廓点，最后一种对已经分割的图像进行操作。最后，我们介绍了合成变形和真实医学图像的结果，并将其应用于心脏运动跟踪和三维患者间匹配。

关键字：变形模型，弹性匹配，图像序列分析，患者间配准，非刚性匹配

 

1 简介

热力学的许多概念已在信息论领域得到了成功应用，更具体地说，已应用于图像处理。最近的一个例子是互熵最小化技术的应用(见Viola和Wells，1995； Maes等，1997)，用于匹配以不同方式获得的医学图像。

另一个有启发性的例子是各向异性过滤(参见Perona和Malik，1990； Catt´e等，1992； Gerig等，1992； Kimia和Siddiqi，1994)，现在通常用作医学图像的预处理步骤： 可以看出，参数σ的高斯滤波器的应用等效于均质材料中与σ直接相关的持续时间内的热扩散。 传热是一种看待高斯滤波的新方法：这种概念的变化，例如通过使用图像中的对象边界来创建与传热有关的不均匀性，已经导致了许多新的非线性算法用于 即使并非总是确定收敛证明，也可以进行图像过滤。 各向异性过滤不是一种新技术，而是一种新的令人兴奋的方式来考虑像图像处理这样古老的问题。

扩展了Thirion(1995，1996)中的演示文稿，我们还基于热力学概念的类比，提出了图像到图像匹配的原始观点(见图1)。 具有两个匹配的图像，主要思想是将一个图像中的对象边界视为半透膜，并通过位于膜内的效应子的作用，使另一图像(被视为可变形网格模型)通过这些界面扩散。 我们通过与麦克斯韦魔鬼的类比来说明这个概念，并将其与更传统的观点(例如基于吸引力的可变形模型)进行对比。 正如我们将看到的，扩散模型主要依赖于极性(内部-外部)概念，而吸引力依赖于距离概念，但是可以设计混合模型，并且还将看到如何将扩散模型概念转化为极性模型。 吸引的概念，中间步骤对应于光流方法。

图1.扩散模型：被视为可变形网格的变形图像通过位于这些接口中的称为demons的效应子的作用，扩散通过静态图像中对象的轮廓。

首先，我们回顾一些有关非刚性匹配的现有技术，例如“基于蛇形”的方法，相似度最大化技术和光学流。然后，我们介绍并详细说明我们的扩散模型的概念，当两个相同的光盘严格匹配(守护程序0)时，将其应用于简化情况即可说明。我们提出了一种实现扩散模型的通用迭代方案，其中包含几种可能的变体(守护程序1、2和3)，这些变体说明了如何将该概念应用于生成新的匹配算法。最后，我们介绍了几种医学应用的实验结果，例如可变形器官的跟踪或三维(3-D)患者之间的匹配。

2.非刚性匹配技术

匹配是许多计算机视觉应用程序的基本任务。可以对刚性或铰接体给出明确的定义：它是恢复刚性零件的刚性位移。对于具有塑性或弹性变形的可变形物体，该任务要复杂得多。在这种情况下，没有一个理想最佳匹配的定义，而是与实际应用一样多的定义。每次必须精确定义要探索的一组变形T(刚性，细微，样条曲线，自由形式等)，以及所使用特征的类型(点，曲线，曲面，强度等)。

但是，实际上，由于该领域最近针对大量不同目标而进行的大量工作，使用单一度量对所有非刚性匹配技术进行分类是不可能的。我们在这里仅描述其中一些方法。

2.1  吸引力的概念

一种广泛(非常直观)的考虑匹配的方法是基于吸引的类比。 一个例子是重力：可变形模型M的一个点P被S中所有相似的点P0吸引。 例如，令K(P，P')为相似性准则，而D(P，P')为距离(不一定是欧几里得)的函数，P上的力是由P的所有点的吸引引起的 S可以是

M根据这些力以及M内部的平滑性约束而变形。这种方法在计算上过于昂贵[O(n² )]。一种较便宜的方法是在计算中仅保留S的一个主要吸引点：M的一个P点被S的一个点P'吸引，该点与P “最接近，最相似”。

图2.具有吸引力的可变形模型。

我们在此定义中认为，必须确定“亲密”和“相似”之间的平衡。例如，在某些方法中，仅使用轮廓点，而S中的轮廓点与M中的轮廓点同样相似，因此接近度是最重要的因素(请参见图2)。迭代最近点(ICP)方法就是这种情况；有关刚性情况，请参见Besl和McKay(1992)和Zhang(1992)。这也是Kass等人介绍的“蛇形”方法的基本假设。 (1987)；有关这些技术的评论，另请参见Blake和Yuille(1992)。

距离和相似性可以优雅地结合在一起。例如，在Feldmar和Ayache(1994)中，这些点具有n个属性(或参数)，这些属性是使用微分几何定义的：这些属性是与这些点关联的不变量，例如主曲率。坐标x; y;z点也被视为参数，因此S的每个点由(n+3)维参数空间中的单个点表示，其中空间坐标和微分不变量混合在一起。然后，仅需要距离，就像在ICP中一样，但是在(n+3) D 参数空间中：它可以是欧几里得距离，或者如果还评估不确定性，则可以是马氏距离(参见Ayache，1991)。

相似性也可以引入基于蛇的技术中。例如，在Benayoun和Ayache(1995)中，将第三项添加到要最小化的能量函数中，这对应于附加到这些点的微分几何特性的相似性。这有助于减少众所周知的“孔径问题”(参见Faugeras，1993)，该问题指出，恢复与轮廓垂直而不是沿轮廓的位移更容易。

与ICP或蛇形相比，关联技术更重视相似性而不是距离。 M的点P被S的P'吸引，这使相关函数K(P，P')最大化。 但是也使用距离，如果P'在T_i(P)附近(其中T_i是当前估计的变形)，则距离为1；如果P'在相关窗口之外，则距离为+∞。

如所描述的，这些方法仍然是昂贵的，因为在每次迭代中并且对于每个P，要考虑S中的大量可能的吸引力点P'。在实践中，有一些算法解决方案可以降低找到“最接近和最相似”点的复杂性。它可以用作KD树，例如Besl和McKay(1992)或Feldmar和Ayache(1994)。可以通过减少特征点集来实现，例如使用器官表面(请参见Davatzikos，1996； Thompson和Toga，1996)，或者使用更紧凑的表示形式，例如波峰线(请参见Declerck等人，1995)或单个点(参见Thirion，1994； Rohr等，1996)。它可以用于预先计算的距离图，例如用于倒角匹配技术(参见Borgefors，1988； Malandain等，1994)。

一个吸引点也可以看作是一个潜在场的最小(“吸引者”)：通过区分这个潜在场，可以得到力的局部表达。可以对蛇进行此操作[例如使用渐变，请参见Kichenassamy等。 (1995)]，并且也用于相关技术。这些差异给出的力很可能指向“最接近的相似点”，但这只是局部的近似值。

如我们所见，吸引力的概念启发了大多数现有的匹配方法。距离和相似性是吸引的中心，而极性是辅助的且很少使用。但是，我们注意到在Radeva等人中有一些利用极性的著作。 (1995)极性用于丢弃轮廓的力，其法线指向远离其最近点的方向。在Chakraborty等人的工作中。 (1996年)，区域信息以第三项的形式被使用，应与内，外力一起被最小化。第三项对应于点的模型内部的积分，这些积分不太可能是内部点。可以参考Ronfard(1994)的工作，该方法主要基于极性：稍后我们将详细讨论最后一种方法。

2.2 光学流方法

图3.从图像M到图像S的瞬时速度。

光学流是一种特殊的方法，用于发现图像时间序列中的小变形(参见Horn和Schunck，1981； Aggarwal和Nandhakumar，1988； Barron等，1994)。在给定的点P处，令s为S中的强度函数，m为M中的强度(见图3)。光学流的基本假设是认为运动物体的强度随时间恒定，这对于小位移给出了光学流方程

该约束条件不足以定义速度。 参见例如Simoncelli等人(1991)。 一种解决方案是对问题进行正则化以获得的局部值。另一种解决方案是针对空间(x，y，z)平移，考虑的端点是超曲面m的最近点。(请参见图3)，得出等式(3)：

对于的较小值，该方程不稳定，从而导致的值无限。理想情况下，对于较小的表达式应接近零。 一种解决方案是将公式(3)乘以，得出公式(4)：

 利用该表达式，可以分两个步骤计算光流：首先计算S中每个点的瞬时光流，然后对变形场进行正则化。

在光流中，将视为速度，因为图像是两个连续的时间帧：是两个图像帧之间的时间间隔内的位移。 实际上，当比较两个不同患者的图像时，没有这种时间上的考虑，更普遍的是将v视为简单的位移。