图像特征与描述

颜色特征

量化颜色直方图

• 适用颜色空间：RGB、HSV等颜色空间
• 颜色空间量化，单元（bin）由单元中心代表
• 统计落在量化单元上的像素数量
  
  

聚类颜色直方图

• 适用颜色空间：Lab等颜色空间
• 使用聚类算法对所有像素点颜色向量进行聚类
• 单元（bin）由聚类中心代表
  

Lab空间

Lab空间是用数字化的方法来描述人的视觉感应。
Lab颜色空间中：

• L分量用于表示像素的亮度，取值范围是[0,100]，表示纯黑到纯白；
• a表示从品红色到深绿色的范围，取值范围是[127，-128]。
• b表示从黄色到蓝色的范围，取值范围是[127，-128]。

几何特征

边缘（Edge）

• 像素明显变化区域
• 具有丰富的语义信息
• 用于物体识别，几何、视角变换
  

边缘的数学定义

像素值函数快速变化的区域–>一阶导数的极值区域

边缘提取

• 先高斯去噪，再使用一阶导数获得极值
• 导数对噪声敏感
  
• 梯度幅值/强度
• 梯度（增加最快）方向
  

基于特征点的特征描述子

从不同距离，不同方向、角度，不同的光照条件下观察一个物体时，物体的大小，形状，明暗都会不同，但我们依然可以判断他是同一件物体。
理想的特征描述子应该具备这些性质。即，在大小、方向、明暗不同的图像中，同一特征点应具有足够相似的描述子，称之为描述子的可复现性。

关键点

特征点/关键点

• 不同的视角图片之间的映射
• 稳定局部特征点：
  可重复性、显著性；抗图片变换

Harris角点

• 一种显著点
• 在任何方向上移动小观察窗，导致大的像素变动
  

判断Harris角点

• 图像中直线：一个特征值大，另一个特征值小
• 图像中平面：两个特征值都小，且近似相等
• 图像中角点：两个特征值都大，且近似相等

FAST角点检测

• 确定一个阈值t，观察某像素点为中心的一个半径等于3像素的离散化的圆，这个圆的边界上有16个像素
• 如果在这个大小为16个像素的圆上有n（12）个连续的像素点，它们的像素值要么都比Ip+t大，要么都比Ip-t小，则p就是一个角点
  

斑点

拉普拉斯梯度

• 一阶导数极值点->二阶导数零点
• 梯度/边缘可以通过二阶导数接近零来寻找
• 但对噪声很敏感，先对图像进行高斯卷积滤波进行降噪处理，再采用Laplace算子进行边缘检测
  

高斯拉普拉斯滤波/Laplacian of Gaussian(LoG)

局部特征：SIFT

基于尺度空间不变的特征
特点：

• 具有良好的不变性
  旋转、尺度缩放、平移、亮度变化
  对视角变化、仿射变换和噪声有稳定性
• 独特性好，信息量丰富
  适用于在海量特征库中快速、准确的匹配
• 多量性
  即使少数量物体也可以产生大量SIFT特征

SIFT特征计算步骤

• 在DoG尺度空间获取极值点，即关键点
• 对关键点处理
  位置插值
  去除边缘点
• 关键点的方向估计
• 关键点描述子的生成
  区域坐标旋转
  计算采样区域的直方图

高斯金字塔

在传统金字塔基础上，对每一层用不同的参数做高斯模糊，使得每一层金字塔有多张高斯模糊图像，这样一组图像是一个octave。

SIFT-计算高斯差分（DoG）空间

SIFT-特征点方向估计

• 再吃堵上计算梯度直方图
  8方向
• 获取最高值方向为关键点主方向
• 为了匹配稳定性，将超过最高值80%的方向，称为辅方向
  
  为了保证特征矢量具有旋转不变性，需要以特征点为中心，将特征点附近邻域内的图像旋转一个方向角。即将原图像x轴转到与主方向相同的方向。
  

SIFT-计算特征点描述子

Haar-like特征

• Haar-like特征分为：边缘特征、线性特征、中心特征、对角线特征，这些特征组合成特征模板。
• 特征模板内有白色和黑色两种矩阵，并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。
• Haar特征值反映了图像的灰度变化情况。
  

Haar-like特征的快速计算：积分图

SURF

SURF算子是对SIFT的改进，可以提速三倍。

SURF算法

• 为了找出图像中的特征点，需要对原图进行变换，变换图就是原图每个像素的Hessian矩阵行列式的近似值构成的
• 求Hessian时要先高斯平滑，然后求二阶导数，对于离散点而言，使用模板卷积形成的，两种操作合在一起用一个Haar模板代替
  
• 为了保证旋转不变性，在SURF中，统计特征点邻域内的Haar小波特征，即以特征点为中心，计算半径为6s的邻域内，统计60度扇形内所有点在x(水平)和y(垂直)方向的Haar小波响应总和，然后60度扇形以一定间隔进行旋转，最后将最大值那个扇形的方向作为该特征点的主方向。
  
• 在特征点周围去一个正方形框，框的边长为20s。该框带方向，就是检测出来的主方向。
• 最终SURF的特征点特征向量的维度为64维，然后把该框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的haar小波特征，方向是对于主方向而言的。
  

LBP

LBP（局部二值模式）

• 将每个像素点与周围点大小比较
  半径为R的圆上，均匀采样P个点，大小量化为0或1
• 多个bit组成一个数，统计每个数的直方图
  
  为解决旋转不变性的问题：将LBP周围的二进制码按位旋转，去二进制码最小的值为最终LBP值。

改进的LBP

将3X3邻域扩展到任意邻域，并用圆形邻域代替了正方形邻域，这种LBP特征叫做ExtendedLBP，也叫Circular LBP。

LBP优点

LBP特征具有灰度不变性和旋转不变性。

Gabor

Gabor是一个用于边缘提取的线性滤波器，其频率和方向表达与人类视觉神经系统类似，能够提供良好的方向选择和尺度选择特性，而且对于光照变化不敏感。