SIFT兴趣点原理

SIFT(尺度不变特征变换)是用于图像处理的局部特征检测算法,由David Lowe提出。它在尺度、旋转、亮度变化下保持不变性,对遮挡和噪声有较高鲁棒性。SIFT过程包括高斯模糊、尺度空间构建、空间极值点检测和关键点描述。尽管有实时性、特征点数量和边缘光滑目标处理等缺点,但因其独特性和稳定性,SIFT在物体识别、影像缝合等领域有着广泛应用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在学习python来研究计算机视觉的时候,我们一定会接触到哈里斯角点和SIFT兴趣点的方法。
初学SIFT,就要研究关于SIFT的原理。
我在学习sift的时候,主要依靠了以下作者的博客
作者:zddhub
原文:https://blog.youkuaiyun.com/zddblog/article/details/7521424

作者:JiePro
原文:https://www.cnblogs.com/JiePro/p/sift_4.html

其中都很详细的介绍了SIFT的有关知识。

SIFT(尺度不变特征变换)

1、SIFT介绍

尺度不变特征转换(Scale-invariant feature transform或SIFT)是一种电脑视觉的算法用来侦测与描述影像中的局部性特征,它在空间尺度中寻找极值点,并提取出其位置、尺度、旋转不变量,此算法由 David Lowe在1999年所发表,2004年完善总结。

其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对。

此算法有其专利,专利拥有者为英属哥伦比亚大学。

局部影像特征的描述与侦测可以帮助辨识物体,SIFT 特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、些微视角改变的容忍度也相当高。基于这些特性,它们是高度显著而且相对容易撷取,在母数庞大的特征数据库中,很容易辨识物体而且鲜有误认。使用 SIFT特征描述对于部分物体遮蔽的侦测率也相当高,甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位。在现今的电脑硬件速度下和小型的特征数据库条件下,辨识速度可接近即时运算。SIFT特征的信息量大,适合在海量数据库中快速准确匹配。

SIFT算法的特点有:

  1. SIFT特征是图像的局部特征,其对旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声也保持一定程度的稳定性;

  2. 独特性(Distinctiveness)好,信息量丰富,适用于在海量特征数据库中进行快速、准确的匹配;

  3. 多量性,即使少数的几个物体也可以产生大量的SIFT特征向量;

  4. 高速性,经优化的SIFT匹配算法甚至可以达到实时的要求;

  5. 可扩展性,可以很方便的与其他形式的特征向量进行联合。

SIFT算法可以解决的问题:

目标的自身状态、场景所处的环境和成像器材的成像特性等因素影响图像配准/目标识别跟踪的性能。而SIFT算法在一定程度上可解决:

  1. 目标的旋转、缩放、平移(RST)

  2. 图像仿射/投影变换(视点viewpoint)

  3. 光照影响(illumination)

  4. 目标遮挡(occlusion)

  5. 杂物场景(clutter)

  6. 噪声

2.1高斯模糊

SIFT算法是在不同的尺度空间上定位兴趣点,而尺度空间的获取需要使用高斯模糊来实现。
而高斯模糊有两种
1、二维高斯模糊
在这里插入图片描述
2、分离高斯模糊
在这里插入图片描述

2.2尺度空间

尺度空间理论的基本思想是:在图像信息处理模型中引入一个被视为尺度的参数,通过连续变化尺度参数获得多尺度下的尺度空间表示序列,对这些序列进行尺度空间主轮廓的提取,并以该主轮廓作为一种特征向量,实现边缘、角点检测和不同分辨率上的特征提取等。

高斯金字塔的构建
尺度空间在实现时使用高斯金字塔表示,高斯金字塔的构建分为两部分:

  1. 对图像做不同尺度的高斯模糊;

  2. 对图像做降采样(隔点采样)。
    在这里插入图片描述
    该图像的金字塔模型是指,将原始图像不断降阶采样,得到一系列大小不一的图像,由大到小,从下到上构成的塔状模型。原图像为金子塔的第一层,每次降采样所得到的新图像为金字塔的一层(每层一张图像),每个金字塔共n层。金字塔的层数根据图像的原始大小和塔顶图像的大小共同决定。

2.3空间极值点

在提取特征点中,最不能忽略的的就是极值点,这可以很容易的帮助我们找到特征点。
关键点是由DOG空间的局部极值点组成的,关键点的初步探查是通过同一组内各DoG相邻两层图像之间比较完成的。为了寻找DoG函数的极值点,每一个像素点要和它所有的相邻点比较,看其是否比它的图像域和尺度域的相邻点大或者小。如图3.4所示,中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较,以确保在尺度空间和二维图像空间都检测到极值点。
在这里插入图片描述

2.4关键点

1、兴趣点
SIFT特征使用高斯差分函数来定位兴趣点:
D(x,y,σ)=[G(x,y,kσ)−G(x,y,σ)]∗I(x,y)=L(x,y,kσ)−L(x,y,σ)

2、描述子
描述子就是给出兴趣点的位置和尺度信息。而要实现旋转不变形,基于每一个点的周围图像的梯度方向和大小,并且引入参考方向。使用主方向描述参考方向。主方向使用方向直方图来度量。
将特征点附近邻域内(mσ(Bp+ 1)√2 x mσ(Bp+ 1)√2)图像梯度的位置和方向旋转一个方向角θ,即将原图像x轴转到与主方向相同的方向。旋转公式如下。
在这里插入图片描述

在这里插入图片描述
在每子区域内计算8个方向的梯度方向直方图,绘制每个梯度方向的累加值,形成一个种子点。与求特征点主方向时有所不同,此时,每个子区域的梯度方向直方图将0° ~360°划分为8个方向范围,每个范围为45°,这样,每个种子点共有8个方向的梯度强度信息。在这里插入图片描述
在这里插入图片描述

SIFT的缺点

SIFT在图像的不变特征提取方面拥有无与伦比的优势,但并不完美,仍然存在:

  1. 实时性不高。
  2. 有时特征点较少。
  3. 对边缘光滑的目标无法准确提取特征点。
    等等
SIFT概述p200 在前面我们学习了角点检测技术,比如Harris等。它们具有旋转不变特性,即使图片发生了旋转,我们也能找到同样的角点,很明显即使图像发生旋转之后角点还是角点。但是如果我们对图像进行缩放,那么角点就可能不再是角点了。所以基于这个问题,尺度不变特征变换(SIFT)出现了,这个算法可以帮助我们提取图像中的关键点并计算它们的描述符。 • 尺度空间极值检测 • 关键点精准定位与过滤 • 关键点方向指派 • 描述子生成 1. 尺度空间极值检测: (由Harris的弊端)我们知道在不同的尺度空间不能使用相同的窗口检测极值点。对于小的角点要用小的窗口。对于大的角点只能使用大的窗口。为了达到这个目的我们需要使用尺度空间滤波器(由一些列具有不同方差sigma的高斯卷积核构成)。 使用具有不同方差值sigma的高斯拉普拉斯算子(LoG)对图像进行卷积,LoG由于具有不同的方差值sigma所以可以用来检测不同大小的斑点,简单来说方差sigma就是一个尺度变换因子,使用一个小方差sigma的高斯卷积核可以很好地检测出小的角点,而是用大方差sigma的高斯卷积核可以很好打的检测出大的角点。 我们可以在尺度空间和二维平面中检测到局部最大值,如(x,y,sigma),这表示sigma尺度中(x,y)点可能是一个关键点。但是这个LoG的计算量非常大,所以SIFT算法使用高斯差分算子(DoG)来对LoG做近似。 DoG是下图这组具有不同分辨率的图像金字塔中相邻的两层之间的差值。 在DoG搞定之后,就可以在不同的尺度空间和2D平面中搜索局部最大值了。对于图像中的一个像素点而言,它需要与自己周围的8个点和上下层18个点相比,如果是局部最大值,它就可能是一个关键点。基本上关键点就是图像在相应尺度空间中的最好代表。如下图所示: 该算法中默认尺度空间为5,经过DoG算法得到4层。所以该算法的作者在文章中给出了SIFT参数的经验值:octave =4。 2. 关键点(极值点)定位---删边界点,去掉低灰度值点 kp 我们通过contrastThreshold阈值来将关键点修正以得到更正确的结果。作者使用尺度空间的泰勒级数展开来获得极值的准确位置,若极值点的灰度值小于阈值(0.03)就会被忽略掉。 DoG算法对边界非常敏感,所以我们必须要把边界去除。我们知道Harris算法除了可以用于角点检测之外还可以用于检测边界。作者就是使用了同样的思路。作者用了Hessian矩阵计算主曲率。从Harris角点检测的算法中,我们知道当一个特征值远远大于另一个特征值检测到的是边界。所以他们使用了一个简单的函数,如果比例高于阈值(opencv中称为边界阈值),这个关键点就会被忽略。文章中给出的边界阈值为10.。 3. 为关键点(极值点)指定方向参数 ,描述符生成: des1 现在我们要为每一个关键点赋予一个反向参数,这样它才会具有旋转不变性。 获取关键点(所在尺度空间)的邻域,然后计算这个区域的梯度级和方向,根据计算得到的结果来创建一个方向直方图,其中直方图的峰值为主方向参数,如果其它的任何柱子的高度高于峰值的80%,则被认为是辅方向。 新的关键点描述被创建了。选取与关键点周围一个16*16的邻域,把它分成16个4*4的小方块,为每个小方块创建一个具有8个bin的方向直方图。总共加起来有128个bin,由此组成了128的向量就构成了关键点的描述符。 而代码sift = cv.xfeatures2d.create_SIFT() kp,des=sift.detectAndCompute(gray,None)这两句话的原理就是1-3 4. 关键点匹配 采用关键点特征向量的欧式距离作为两幅图像中关键点的相似性判定度量。取第一个图的某个关键点,通过遍历找到第二幅图像中的距离最近的那个关键点。cv.BFMatcher,match()就是这个原理,1对1特征点,即返回最佳匹配。 而在有些情况下,第二个距离最近的关键点与第一个距离最近的关键点靠的太近,这可能是由于噪声等引起的,此时要计算最近距离与第二近距离的比值,如果比值大于0.8,就会忽略掉。而cv.BFMatcher.knnMatch就是基于这个原理 cv.BFMatcher.knnMatch可以指定每个关键点返回k个最佳匹配,这里不妨令k=2。 源码: img1 = cv.imread("E:/opencv/picture/test1.jpg") img2 = cv.imread("E:/opencv/picture/test2.jpg") gray1 = cv.cvtCo
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值