2021-09-26

第三讲：图像特征与描述

内容
 颜色特征

•  量化颜色直方图
•  聚类颜色直方图
   几何特征
•  Edge
•  Corner
•  Blob

 基于关键点的特征描述子

•  SIFT
•  SURF
•  ORB

 其他特征提取

• List item

•  LBP

•  Gabor

 代码实践

颜色特征
HSV颜色空间：
在最底层有一条色带，图片中有哪些颜色，对应区域会得到柱状图；

优势:

• 计算高效

劣势：

• 量化问题
• 稀疏

聚类颜色空间：
适用于Lab等颜色空间
几何特征：
将图片中有的颜色映射为柱状图
边缘：
像素明显变化的区域，据有丰富的语义信息
用途：

• 物体识别
• 几何、视角变换

边缘定义：
像素值函数变化的u区域——》以解导数的极值区域
由于一阶导数对噪声敏感，图片可能会有噪声影响，听此就需要先进行高斯去噪，在进行一阶导数获取极值
边缘提取步骤：
1、 高斯滤波求一阶导
2、 标准差——》尺度
3、 梯度幅度/强度：
hx（x，y）2+hy（x，y）2==》梯度下降最快的方向是横纵梯度的矢量和；
梯度方向去（增加最快的方向）：

基于特征点的特征描述子
从不同的距离、不同的方向、角度、不同的光照条件观察一个物体时，物体的大小、形状、敏感斗湖i造成很大的不同，但是我们仍可以i通过特征描述子来判断其是否为同一个物体；（不同的视角图片之间的映射）
特征描述子的性质：
1、 大小、方向、明暗不同的图案中，同一个特征子应具有足够相似的描述子——描述子的可复现性。
2、 可复现性、显著性；
3、 抗图片变换：外貌变换、几何变换
Harris角点
一种显著点，在任意方向上移动一个小的观察窗，都会导致大的像素变动；

Harris角点计算方式：

上式可分解为矩阵运算：

如果图像中为直线：那么一个特征是大，一个特征值小；
如果图像中为平面：两个特征值都小，且近似相等；
如果图像中为角点：则两个特征值都大，且近似相等；

FAST角点检测
定义：
若某个像素点与周围领域内足够多的·像素点处于不同的区域，则该像素点可能为角点，也就是某些属性与众不同
FAST角点检测步骤：
1、 确定一个阈值，观察某像素点为中心的一个半径为3像素的离散化的圆，这个圆的边界有16个像素；
2、 如果在这个大小为16个像素的圆上有n个连续的像素点要么比Ip+t大，要么都比Ip-t小，则p就是一个角点。

 FAST角点检测计算时间复杂度小，检测效果好；
 FAST不产生多尺度特征，没有方向信息，这样就失去了旋转不变性；
结合特征：斑点
拉普拉斯梯度：
一阶导数极值点——》二阶导数零点：
梯度/边缘可以通过寻找二阶导数接近零的位置；对于其对噪声较敏感的特点，在计算前要对图像进行卷积滤波降噪处理，在进行降噪处理的时候，sigma较小的时候，将识别出更加细节的边缘，随后再采用Laplace算子进行就边缘检测；

斑点检测：寻找二阶导的极值点即可；

局部特征：SIFT
基于局部空间不变的特征：
特点：

• 据有良好的不变性；

• 独特性好‘信息量丰富；

• 多量性；

• 计算快；

  步骤：
  1、在DoG尺度空间获取极值点，及关键点，
  2、 对关键点处理：
  位置插值，去除边缘点；
  3、 关键点方向估计
  4、关键点描述子的生成
   区域坐标旋转；
   计算采样区域的直方图；
  局部特征：SIFT
  使用不同的sigama的LOG对图片进行滤波：

  这样计算量较大，所以使用DOG来代替LOG，用差分发代替微分：将原图减去高斯和滤波模糊图片得到边缘图片

构建高斯金字塔：
在传统的金字塔基础上，对每一层用不同的参数做褒姒模糊，是的每一层金字塔有多张高斯模胡图片，扎样一组图像是一个octave，下面一层的倒数第三张直接通过隔点采样得到，在上一层再做高斯模糊；

目的：找不同尺度的特征，大图片上找效地特征，小的图片找大的特征；
不相邻两层之间相差一个比例因子k，SIFT-计算高斯差分（DoG）空间：

**主方向：**解决图像旋转不变性
特征点方向估计：
1、 在尺度上计算梯度直方图：
以特征点为中心，以3*1.5simaga为半径，所有点没以恶搞都有自己所代表的梯度方向，把方向进行统计，然后统计哪个方向最高；

为了匹配的稳定性，将超过最高值80%的方向称为辅方向；
2、 以特征点为中心，将特征点附近邻域内的图像旋转一个方向，即将原图像x轴转到与主方向相同的方向；随后更新梯度方向；

该过程十分麻烦

Haar-like特征
Haar-like特征分为：边缘特征、线性特征、中心特征和对角线特征。这些的特征组合成为特征模板，
特征模板内有白的和黑色两种矩形，并定义值为白色矩形像素和减去黑色矩形像素和；

局部特征：SURF
其是对SIFT的改进，可将速度提高3倍，SURF主要把SIFT中的某些运算做了一些简化，使得卷积平滑操作进选哟转换成加减运算。在方向确定阶段，在原型区域计算x，y方向的haar小波响应，找到模最大的扇形方向；
SURF进行边界处理的操作：
1、 首先高斯平滑，然后后求二阶导数，这对于离散的像素点而言，是用模板卷积形成的（将模板对原图进行卷积运算）二者结合在一起就是用一个Haar模板代替就可：使用左侧即可；

2、 保持旋转不变性
以特征点为中心，计算半径为6s（s为特征点所在的尺度值）的邻域内，统计60°扇形内所有的点在x、y方向的Haar小波响应总和。最后将最大值的那个扇形的方向作为特征点的主方向。
3、
ORB：基于FAST角点的特征点检测与BRIEF特征描述技术；和SIFT和SURF相比，速度快ORB是最大的优势；
1、首先使用BRIEF平滑图像：在图像中选取n对点，在点之间画线，将画线的部分图片取出来，画线方式：均匀独立选取、高斯分布选取；
2、在选区的图片中建立坐标系，计算形心中的每个点的像素值乘以权重得到特征点主方向；