python—SIFT、Harris的简单实现与地理标记图像匹配

一、SIFT算法原理

这里关于SIFT算法的描述是我参考网上的资料提了一些加上自己的理解来作为大概的描述，若是想更具体地了解SIFT的相关原理可以参考以下网址：https://www.cnblogs.com/wangguchangqing/p/4853263.html

1.概述

SIFT算法的主要思想是在尺度空间寻找极值点，然后对极值点进行过滤，找出稳定的特征点，最后在每个稳定的特征点周围提取图像的局部特性，形成局部描述子并将其用在以后的匹配中。SIFT 算法有以下几个主要步骤：
（1）尺度空间的极值检测。
（2）特征点定位。
（3）特征方向赋值。
（4）特征点描述。

2.构建尺度空间

尺度空间的主要思想是对原始图像进行尺度变换，并满足特征点的尺度不变性。
搜索所有尺度空间上的图像，通过高斯微分函数来识别潜在的对尺度和选择不变的兴趣点。学过数字图像处理应该知道，通过将图像与高斯函数做卷积运算能够对图像做相应程度的模糊，高斯卷积核是实现尺度变换的唯一线性核，所以一幅二维图像的尺度空间可定义为函数L(x,y,σ)，其中G(x,y,σ)为尺度可变高斯函数：

其中(x，y)为图像点的像素坐标，I(x，y)为该点数据。σ是高斯正态分布的方差，称为尺度空间因子，其反映了图像被平滑的程度，其值越小表征图像被平滑程度越小，相应尺度越小，通俗点说，方差越小，图像越清晰，细节部分便比较清楚，方差越大，则图像越模糊，体现的图像轮廓比较清楚。
为了有效地检测图像中一定尺度空间的稳定关键点，提出了利用尺度空间中DoG（Difference-of-Gaussian）极值作为判断依据，表达式为D(x,y,σ)，DoG算子定义为两个不同尺度的高斯核的差分，简单点理解就是将尺度空间看为一层一层的平面，相邻两层之间有一定的距离，这些距离便是差分，根据下面的构造图会更好地理解。设 k 为两相邻尺度空间的比例因子，则DoG算子定义如下：

D(x,y,σ)构造方式如下图所示：

3.检测DoG尺度空间极值点

极值点，顾名思义就是在一定的范围内最大或者最小的点，为了寻找尺度空间的极值点，每个像素点要和其同一尺度空间和相邻的尺度空间的所有相邻点进行比较，即和当前所在的那一层和相邻的两层上面的像素点做比较，当某一点大于或者小于所有相邻点时，该点就是极值点。
如下图所示，中间的检测点要和其所在图像的3×3邻域8个像素点，以及其相邻的上下两层的3×3领域18个像素点，共26个像素点进行比较，以确保在尺度空间和二维图像空间都能检测到局部极值。图中用红色圈出标记为叉号的像素若比相邻26个像素的DoG值都大或都小，则该点将作为一个局部极值点，记下它的位置和对应尺度。

4.删除不好的极值点

在上一步中算法搜索出了尺度空间的极值点，但并不是所有的极值点都可以作为合适的关键点，因为通过比较检测得到的DoG的局部极值点是在离散的空间搜索得到的，由于离散空间是对连续空间采样得到的结果，因此在离散空间找到的极值点不一定是真正意义上的极值点，因此要设法将不满足条件的点剔除掉。那么以下两种方法便是针对局部、尺度和主曲率比率与邻近像素进行详细比对，去除低对比度（敏感噪声）的关键点或不稳定的局部边缘响应点。

（1）剔除低对比度的特征点

设候选特征点为 x，其偏移量定义为 Δx，其对比度为D(x)的绝对值∣D(x)∣，对D(x)应用泰勒展开式：

由于x是D(x)的极值点，所以对上式求导并令其为0，得到：