计算机视觉学习2_局部图像描述子_SIFT算法_特征匹配_集美大学地标

相关环境的搭建

1、PCV
2、VLFeat工具包
3、pydot
这里大家可以移步我另外一个博客
https://blog.youkuaiyun.com/zxm_jimin/article/details/88596987

原理部分

特征匹配基本流程
根据准则，提取图像中的特征点
提取特征点周围的图像块，构造特征描述符
通过特征描述符对比，实现特征匹配

角点（corner points）：即特征点
• 局部窗口沿各方向移动，均产生明显变化的点
• 图像局部曲率突变的点

首先我们先来了解一下

Harris角点检测算法

该算法的主要思想是，如果像素周围显示存在多于一个方向的边，我们认为该点为兴趣点，即角点。

HARRIS角点检测基本思想
• 从图像局部的小窗口观察图像特征
• 角点定义 <–窗口向任意方向的移动都导致图像灰度的明显变化
(像素周围显示存在多于一个方向的边)

这里不对Harris算法做过多介绍，但我们知道。它检测出来的特征点是不具有尺度不变性和方向不变性的。因此，即使两张图片的拍摄角度变化，也不能找到对应的特征点。
这种情况下，我们使用SIFT算法。

SIFT（尺度不变特征变换）

SIFT算法可以解决的问题：
• 目标的旋转、缩放、平移（RST）
• 图像仿射/投影变换（视点viewpoint）
• 弱光照影响（illumination）
• 部分目标遮挡（occlusion）
• 杂物场景（clutter）
• 噪声

SIFT算法实现
SIFT算法的实质可以归为在不同尺度空间上查找特征点（关键点）的问题。

主要有三个流程：
1、提取关键点；
2、对关键点附加 详细的信息（局部特征），即描述符；
3、通过特征点（附带上特征向量的关键点）的两两比较找出相互匹配的若干对特征点，建立景物间的对应关系。

兴趣点
我们希望选出具有以下不变性的点：尺度 方向 位移 光照

尺度不变性

尺度空间理论最早于1962年提出，其主要思想是通过对原始图像进行尺度变换，获得图像多尺度下的空间表示。从而实现边缘、角点检测和不同分辨率上的特征提取，以满足特征点的尺度不变性。
尺度空间中各尺度图像的模糊程度逐渐变大，能够模拟人在距离目标由近到远时目标在视网膜上的形成过程。
尺度越大图像越模糊

目前已知，高斯核是唯一可以产生 多尺度空间的核，一个图像的尺度空间，
L(x, y, σ) ,定义为原始图像
I(x, y)与一个可变尺度的2 维高斯函数G(x, y, σ) 卷积运算

σ越大，则保留边缘，因为将周围点纳入考虑的程度大。
σ越小，则保留细节，因为将周围点纳入考虑的程度小。

高斯金字塔
还有一个博主写得特别好：https://blog.youkuaiyun.com/dcrmg/article/details/52561656

高斯金子塔的构建过程可分为两步：
（1）对图像做高斯平滑；
（2）对图像做降采样。

为了让尺度体现其连续性，在简单下采样的基础上加上了高斯滤波。一幅图像可以产生几组（octave）图像，一组图像包括几层（interval）图像。

但我们知道，直接使用此方法，会导致计算量过大，因此，我们采用另一种更高效的方法——DOG（Difference of Gaussian）高斯差分金字塔
对应DOG算子，需构建DOG金字塔

可以通过高斯差分图 像看出图像上的像素值变化情况。（如果没有变化，也就没有特征。特征必须是变化尽可能多的点。） DOG图像描绘的是目标的轮廓。

DOG的局部极值点
我们知道，其实在角点附近的点也可能具有很大的变化，因此，我们要从中取最优。

在DOG空间下的（上中下）三层列入考虑范围，寻找局部最大点。以确保在尺度空间和二维图像空间都检测到极值点。

去除边缘响应
Hessian矩阵介绍可参考：
https://blog.youkuaiyun.com/qq_34886403/article/details/83589108

由于DOG函数在图像边缘有较强的边缘响应，因此需要排除边缘响应。
DOG函数的峰值点在边缘方向有较大的主曲率，而在垂直边缘的方向有较小的主曲率。主曲率可以通过计算在该点位置尺度的2×2的Hessian矩阵得到，导数由采样点相邻差来估计：