【探索AI】二十八-计算机视觉（三）特征提取与描述

概述

特征提取与描述

一、传统特征提取方法

1. SIFT (Scale-Invariant Feature Transform)

• 尺度空间极值检测：SIFT首先在不同的尺度空间上搜索关键点。这些尺度空间是通过将原始图像与不同尺度的高斯核进行卷积得到的。
• 关键点定位：在每个尺度空间的极值点位置，通过拟合一个三维二次函数来精确确定关键点的位置和尺度，并去除不稳定的关键点。
• 方向分配：基于关键点周围的局部图像梯度方向，为每个关键点分配一个或多个主导方向，以实现旋转不变性。
• 描述子生成：在关键点周围选取一个邻域，并计算该邻域内像素的梯度方向和大小，形成一个特征向量，即描述子。

2. SURF (Speeded Up Robust Features)

• Hessian矩阵：SURF使用Hessian矩阵来检测关键点，Hessian矩阵可以描述像素点周围的图像局部结构。
• 尺度空间与盒子滤波：SURF使用盒子滤波器来近似Hessian矩阵，从而加速计算。
• 方向分配与描述子生成：SURF同样为关键点分配主导方向，并生成一个64维的描述子向量。

3. HOG (Histogram of Oriented Gradients)

• 预处理：将图像转换为灰度图，进行归一化处理以消除光照和对比度的影响。
• 计算梯度：计算图像中每个像素点的梯度方向和大小。
• 划分单元格并统计直方图：将图像划分为若干个小的单元格，并在每个单元格内统计梯度方向的直方图。
• 归一化与串联：对每个单元格的描述子进行归一化，然后将所有单元格的描述子串联起来，形成一个整体的描述子向量。

二、深度学习特征提取

卷积神经网络（CNN）

• 卷积层：CNN通过卷积层来提取图像中的局部特征。卷积层中的卷积核（或称为滤波器）在图像上滑动，计算与图像局部区域的点积，从而得到特征图。
• 激活函数：特征图通过激活函数进行非线性变换，以增加模型的表达能力。
• 池化层：池化层用于降低特征图的维度，减少计算量，并增强模型的鲁棒性。常见的池化操作包括最大池化和平均池化。
• 全连接层：全连接层用于将前面提取的特征整合起来，形成最终的特征向量。

三、特征描述与匹配

• 特征描述子：对于每个检测到的关键点或特征点，生成一个描述子向量来量化其周围的图像信息。描述子应具有良好的区分性和鲁棒性，以便在不同图像中准确匹配相同的特征点。
• 相似度度量：计算两个描述子向量之间的相似度，常用的相似度度量方法包括欧氏距离、余弦相似度等。
• 匹配策略：根据相似度度量结果，采用一定的匹配策略（如最近邻方法、比值测试等）来确定两个特征点是否匹配。

四、应用

• 目标识别：在目标检测任务中，通过特征提取与匹配，可以在图像中准确识别出目标物体的位置。
• 图像检索：在图像检索任务中，可以根据图像中的特征点描述子进行相似度比较，从而找到与查询图像相似的图像。
• 立体视觉：在立体视觉任务中，通过特征提取与匹配，可以在不同视角的图像中找到相同的特征点，进而计算物体的三维形状。
• 场景重建：在三维场景重建任务中，特征提取与匹配是关键步骤之一，可以用于计算相机姿态、生成点云等。