颜色、几何与关键点：深度解析视觉特征提取方法-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_45022743/article/details/124541708

本章内容

颜色特征：量化颜色直方图，聚类颜色直方图
几何特征：Edge,Corner,Blob
基于关键点的特征描述子:SITF,SURF,ORB
其他特征提取：LBP，Gabor

一：颜色特征

量化颜色直方图

适用颜色空间：RGB，HSV等颜色空间
操作：颜色空间量化，单元由单元中心代表，统计落在量化单元上的像素数量。
最常用的方法是将颜色空间的各个分量（维度）均匀地进行划分
优势：计算高效
劣势：量化问题，稀疏

聚类颜色直方图

使用颜色空间：Lab等颜色空间
操作：使用聚类算法对所有像素点颜色向量进行聚类，单元有聚类中心代表
聚类算法考虑到图像颜色特征在整个空间的分布情况，避免出现大量的bin中的像素数量非常稀疏的情况
Lab空间是用数字化的方法描述人的视觉感应
Lab颜色空间：L分量用于表示像素的亮度，取值范围是[0,100]，表示从纯黑到纯白；a表示从品红色到深绿色的范围，取值范围是[127，-128]；b表示从黄色到蓝色的范围，取值范围是[127,-128]

设想两幅图像的颜色直方图几乎相同，只是互相错开了一个bin,这时如果采用L1距离或者欧拉距离计算两者的相似度，会得到很小的相似度。为了克服这个缺陷，需要考虑到相似但不相同的颜色之间的相似度：一种方法是采用二次式距离，另一种方法是对颜色直方图事先进行平滑过滤，即每个bin中的像素对于几个相邻的几个bin也有贡献

二：几何特征

边缘（Edge）

像素明显变化的区域
具有丰富的语义信息
用于：物体识别，几何，视角变化

边缘定义

边缘定义：像素值函数快速变化的区域→一阶导数的极值区域

边缘提取

先高斯去噪，再使用一阶导数获取极值
导数对噪声敏感
边缘提取：高斯滤波一阶导，标准差→尺度

在这里插入图片描述

-梯度幅值/强度
在这里插入图片描述

-梯度（增加最快）方向
在这里插入图片描述

边缘提取尺度问题

-不同标准差的滤波（方向）
-能捕捉到不同尺度的边缘
在这里插入图片描述

基于特征点的特征描述子

-从不同的距离，不同的方向、角度，不同的光照条件下观察一个物体时，物体的大小，形状，明暗都会有所不同。但我们依然可以判断它是同一件物体。

-理想的特征描述子应该具备这些性质。即，在大小、方向、明暗不同的图像中，同一特征点应具有足够相似的描述子，称之为描述子的可复现性。

特征点/关键点

-不同视角图片之间的映射
-稳定局部特征点：可重复性，显著性，抗图片变换（外貌变换（亮度，光照），几何变换（平移，选择，尺度））
在这里插入图片描述

Harris角点(Corner)

-一种显著点：在任何方向上移动小观察窗，导致大的像素变动
在这里插入图片描述

-数学模型：偏移（u，v）后窗内图像的变化，取E(u,v)大的patch
在这里插入图片描述

判断harris角点

图像中直线：一个特征值大，另一个特征值小
图像中平面:两个特征值都小，且近似相等
图像中角点：两个特征值都大，且近似相等

FAST角点检测

FAST角点检测是一种快速的角点特征检测算法
FAST角点的定义为：若某像素点与其周围领域内足够多的像素点处于不同的区域，则该像素点可能为角点，也就是某些属性与众不同。
FAST特征检测点是对兴趣点所在圆周上的16个像素点进行判断，若判断后的当前中心像素点为暗或亮，将决定其是否为角点
确定一个阈值t,观察某像素点为中心的一个半径等于3像素的离散化的圆，这个圆边界上有16个像素
-如果在这个大小为16个像素的圆上有n个连续的像素点，他们的像素值要么都比t大，要么都比t小，则p就是一个角点

拉普拉斯梯度

一阶导极值点→二阶导数零点
梯度/边缘可以通过寻找，二阶导数接近零
对噪声敏感，首先对图形进行高斯卷积滤波进行降噪处理，在采用Laplace算子进行边缘检测

高斯拉普拉斯滤波/Laplacian of Gaussian(LOG)

在这里插入图片描述

当σ较小时，将识别出更为细节的边缘
在这里插入图片描述

斑点(Blob)

LOG图找极值点→斑点

在这里插入图片描述

三：局部特征

基于尺度空间不变的特征：SIFT

特点：1，具有良好的不变性：旋转，尺度缩放，平移，亮度变化，对视角变化，仿射变换和噪声也有一定程度的稳定性。2，独特性好，信息量丰富：适用于在海量特征数据库中进行快速，准确的匹配。3，多量性：即使少数物体也可以产生大量SIFT特征。4，计算快：经优化的SIFT匹配算法甚至可以达到实时性
SIFT特征计算步骤：1，在DoG尺度空间中获取极值点，即关键点。2，对关键点处理：位置插值（获得精确的关键点），去除边缘点。3，关键点的方向估计。4，关键点描述子的生成：区域坐标旋转，计算采样区域直方图
尺度空间：1，使用不同σ的LOG对图片进行滤波

2，使用LOG，则后续计算量较大，故使用DOG来代替LOG，用差分代替微分
在这里插入图片描述

-高斯金字塔就是在传统金字塔的基础上，对每一层用不同的参数σ做高斯模糊，使得每一层金字塔有多张模糊图向，这样一组图像是一个octave
在这里插入图片描述

-SITF-计算高斯差分（DOG）空间
在这里插入图片描述

-SIFT-DOG空间极值点就是“关键点”：1，圆半径→特征点尺度。2，圆心→特征点坐标
在这里插入图片描述

-SIFT-特征点方向估计：1，在尺度方向计算梯度直方图：8方向，以特征点为中心，以3 x 1.5 σ为半径。2，获取最高值方向为关键点主方向。3，为了匹配的稳定性，将超过最高值80%的方向，称为辅方向。
在这里插入图片描述

-为了保证特征矢量具有旋转不变性，需要以特征点为中心，将特征点附近邻域内的图像旋转一个方向角，即将原图像X轴准到与主方向相同的方向
在这里插入图片描述

-SIFT-计算特征点描述子：1，在旋转后的坐标上采样16x16的像素窗。2，在旋转后的坐标上采样16x16的像素窗。
在这里插入图片描述

-SIFT缺点是：计算太复杂，如果不借助硬件加速或专门的图像处理器很难实现

在这里插入图片描述

Haar-Like特征

Haar-like特征分为：边缘特征，线性特征，中心特征和对角线特征，这些特征组合成特征模板
特征模板内有白色和黑色两种矩形，并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和
Haar特征值反映了图像的灰度变化情况
同一个像素如果被包含在不同的Haar-like的特征模板中，会被重复计算多次
积分图是根据四个角点就能计算区域内的像素之和的方法

SURF

SURF算子是Herbert Bay等人在2006年提出的，它是对SIFT的改进，可将速度提高3倍
SURF主要是吧SIFT中的某些运算做了简化：SURF把SIFT中的高斯二阶微分的模板进行了简化，使得卷积平滑操作仅需要准换成加减运算。在方向确定阶段，在圆形区域计算x,y方向的haar小波响应，找到模最大的扇形方向。
为了找出图像中的特征点，需要对原图进行变换，变换图就是原图每个像素的Hessian矩阵行列式的近似值构成的。
求Hessian时要先高斯平滑，然后求二阶导数，这对于离散的像素点而言，是用模板卷积形成的，这两种操作合在一起用一个Haar模板代替就可以了。
为了保证旋转不变性，在SURF中，统计特征点领域内的Haar小波特征，即以特征点为中心，计算半径为6s(s为特征点所在的尺度值）的邻域内，统计60度扇形内所有点在x和y方向的Haar小波响应总和，然后60度扇形以一定间隔进行旋转，最后将最大值那个扇形非方向作为该特征点的主方向
** 在特征点周围取一个正方形框，框的边长为20s(s是所检测到该特征点所在的尺度)。该框带方向，就是检测出来的主方向。最终，SURF的特征点特征向量的维度为64维**
然后把该框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的haar小波特征，这里的水平和垂直方向都是相对主方向而言的。

ORB特征描述

ORB特征基于FAST角点的特征检测与BRIEF特征描述技术

-与SIFT和SURF相比，速度快是ORB的最大优势
-它是对FAST角点与BRIEF特征描述子的一种结合与改进，FAST角点检测的缺点是：缺乏尺度不变性，可以通过构建高斯金字塔，然后再每一层金字塔图像上检测角点，来实现尺度不变性。BRIEF的缺点是，缺乏旋转不变性；需要给BRIEF加上旋转不变性
-BRIEF需要先平滑图像，然后在特征点周围选择一个patch,在这个patch内通过一种选定的方法来挑选n个点对。比较点对中的亮点像素的大小，进行如下赋值
在这里插入图片描述

-所有n个点对，都进行比较之间，我们就生成一个n长的二进制串

-ORB对BRIEF的改进：ORB在计算BRIEF描述子时建立的坐标系是以关键点为圆心，以关键点和取点区域的形心（圆形）的连线为X轴建立坐标系。计算形心时，圆形区域上每个点的质量是其对应的像素值。
在这里插入图片描述

LBP（局部二值模式）

将每个像素点与周围点大小比较，半径为R的圆上，均匀采样P个点，大小量化为0或1，多bit组成一个数，统计每个数的直方图

-**为解决旋转不变性的问题;将LBP周围的二进制码(如11110001）按位旋转，取二进制码最小的值为最终LBP值。**如:对于11110001情况，我们按位旋转，得到11100011,11000111,10001111,0001111,00111110,01111100,11111000七个不同的二进制数，最小值为00011111。
在这里插入图片描述