CV——图像匹配调研

概念：

图像匹配是对两张相似的照片（不同角度，不同光照，不同大小，不同放射等）进行关键点的寻找连接。和“找不同”游戏有着相似的步骤，先观察两张图像的特征，再根据经验进行配对。只不过图像匹配找的是相同，“找不同”游戏找的是不同。

步骤：

1）提取图像的特征点
2）对图像特征点进行描述（包含特征点的位置，尺度，方向等信息）
3）计算两张图像的候选特征点的距离，选择相似度高的点进行匹配

综述：

1）Image Matching from Handcrafted to Deep Features: A Survey
这是一篇接近50 pages的博士论文，引用参考文献400+，整体架构清晰。我一直对三个步骤以及传统的匹配算法没有一个明确的界限，看完之后清晰了很多。

2）我主要阅读了框架的这些部分：

通过图可以看到，作者将图片匹配分为三个步骤，分别对特征提取器，特征描述子，特征匹配方法进行了调研总结；
随着机器学习的流行，也有相应的基于学习的特征提取器，特征描述子，特征匹配方法；
研究3-D图像匹配的同学也可以查阅论文相关信息，具体和2-D有相似的地方，但会多了位姿处理等；

介绍：

参考作者的架构图，我也做了一个类似的~ 来介绍我接下来介绍的详略情况：

我会按照图像匹配的顺序，分别介绍一些传统的算法；

1）角点检测器可以分为基于梯度的、基于强度的、基于曲率的；
基于梯度（计算灰度的加减法）的检测器比较著名的是：Maravec和Harris，实际上Harris是在Maravec基础上发展过来的，具有更高的可靠性；
基于强度（比较灰度的大小关系）的检测器比较著名的是：FAST和ORB，实际上ORB也是在FAST基础上发展过来的，使得提取的特征具有尺度不变性和旋转不变性；
基于曲率的检测器实际上由多个步骤组成，虽然计算成本高，但是它可以用在特定的领域；
2）手工的特征描述子可以分为基于梯度统计，基于局部二进制统计，局部强度比较和局部定向强度统计；后面两种方法和前面大同小异，这里只介绍基于梯度统计的：SIFT和SUFT and 基于局部二进制统计的：BRIEF和rBRIEF;
3）图片匹配方法比较传统的就是暴力和KNN了，这两个方法cv库都有提供；
4）我还会介绍基于学习的一个比较高效的特征描述子SuperPoint，以及基于图神经网络完成特征匹配的SuperGLue；

特征提取器：

先说说这三种类型的不同：
基于梯度的很明显效率不高，但是能够达到比较高的特征提取精度；
基于强度的因为不用计算梯度，只需要进行强度大小的比较，所有效率高，比较适合实时特征提取；
基于曲率的分为四个步骤：
1）首先得有个边缘检测器，对图像的边缘进行提取；
2）从提取的边缘中选取曲率较大的边缘进行保留；
3）对挑选的边缘进行光滑，降低噪声的影响，对曲率的边进行再估计；
4）选择指定曲率以上的特征点作为关键点；
基于曲率的检测器因为需要进行边缘的提取，还有后续的多种处理步骤，效率比较低，但是适合用在没有什么纹理的图像上，比如医学图像或红外线图；
这些特征检测器的共同的目标是：a)使得后续的匹配具有可行性b)对后续的各种算法具有可移植性c)实现匹配的高效性和存储的低容性；

基于梯度的检测器

Moravec由1977提出，也是特征检测器的开山之作，通过设定一个阈值，当图像强度变化值大于阈值便视为角点；
Harris由1988提出，使用一个矩阵完成窗口特征的提取，重定