特征检测与描述3

用于角点检测的FAST算法

使用FAST进行特征检测

1. 选择图像中是否要识别为兴趣点的像素p，使其强度为$I_p$。

2. 选择适当的阈值t。

3. 考虑被测像素周围有16个像素的圆圈（如下图） 。

4. 现在，如果圆中（共16个像素）存在一组n个连续的像素，它们均比$I_p+t$亮，或者均比$I_p-t$暗，则像素p是一个角（在上图中显示为白色虚线），n被选为12。

5. 建议使用高速测试以排除大量的非角区域；测试仅检查1、9、5和13处的四个像素（如果第一个1和9太亮或太暗，则对其进行测试，如果是，则检查5和13）；如果p是一个角，则其中至少三个必须全部比$I_p+t$亮或比$I_p-t$暗；如果以上两种情况都不是，则p不能为角；然后，可以通过检查圆中的所有像素，将完整的分段测试标准应用于通过的候选项；该检测器本身具有很高的性能，但有几个缺点：

   它不会拒绝n <12的候选对象。
   像素的选择不是最佳的，因为其效率取决于问 题的顺序和角落外观的分布。
   高速测试的结果被丢弃了。
   彼此相邻地检测到多个特征。

机器学习的方法解决了前三个缺点，使用非最大抑制来解决最后一个缺点。

让机器学习一个角检测器

1. 选择一组图像进行训练（最好从目标应用程序域中进行训练）。
2. 在每个图像中运行FAST算法以查找特征点。
3. 对于每个特征点，将其周围的16个像素存储为矢量，对所有图像执行此操作以获得特征向量P。
4. 这16个像素中的每个像素（例如x）可以具有以下三种状态之一：
   
   取决于这些状态，特征矢量P被细分为3个子集，$P_d、P_s、P_b$。
   定义一个新的布尔变量$K_p$，如果p是一个角，则为true，否则为false。
   使用ID3算法（决策树分类器）使用变量$K_p$查询每个子集，以获取有关真实类的知识；它选择x，该x通过$K_p$的熵测得的有关候选像素是否为角的信息最多。
   递归地将其应用于所有子集，直到其熵为零为止。
   这样创建的决策树用于其他图像的快速检测。

非最大抑制

在相邻位置检测多个兴趣点是另一个问题，通过使用非极大抑制来解决。

1. 计算所有检测到的特征点的得分函数
   V。V是p与16个周围像素值之间的绝对差之和。
2. 考虑两个相邻的关键点并计算它们的V值。
3. 丢弃较低V值的那个。

Fast比其他现有的拐角检测器快几倍，但是它对高水平的噪声并不鲁棒，它取决于阈值。

OpenCV中的高速拐角检测器

它被称为OpenCV中的任何其他特征检测器。 如果需要，可以指定阈值，是否要应用非极大抑制，要使用的邻域等；对于邻域，定义了三个标志，分别为：cv.FAST_FEATURE_DETECTOR_TYPE_5_8，cv.FAST_FEATURE_DETECTOR_TYPE_7_12和cv.FAST_FEATURE_DETECTOR_TYPE_9_16; 以下是有关如何检测和绘制FAST特征点的简单代码，fast.py

import cv2 as cv
import numpy as np
from matplotlib import pyplot as plt

img = cv.imread('./OpenCV/feature_simple.png', 0)
# 用默认值初始化FAST对象
fast = cv.FastFeatureDetector_create()
# 寻找并绘制关键点
kp = fast.detect(img, None)
img2 = cv.drawKeypoints(img, kp, None, color=(255, 0, 0))
# 打印所有默认参数
print("Threshold:{}".format(fast.getThreshold()))
print("nonmaxSuppression:{}".format(fast.getNonmaxSuppression()))
print("neighborhood:{}".format(fast.getType()))
print("Total Keypoints with nonmaxSuppression:{}".format(len(kp)))
# cv.imwrite('./OpenCV/fast_true.png', img2)
# 关闭非极大抑制
fast.setNonmaxSuppression(0)
kp = fast.detect(img, None)
print("Total Keypoints without nonmaxSuppression:{}".format(len(kp)))
img3 = cv.drawKeypoints(img, kp, None, color=(255, 0, 0))
# cv.imwrite("./OpenCV/fast_false.png", img3)
images = [img, img2, img3]
titles = ['Original', 'fast_true', 'fast_false']
for i in range(3):
    plt.subplot(1, 3, i + 1)
    plt.imshow(images[i], cmap='gray')
    plt.title(titles[i])
    plt.xticks([]), plt.yticks([])
plt.show()

Threshold:10
nonmaxSuppression:True
neighborhood:2
Total Keypoints with nonmaxSuppression:12
Total Keypoints without nonmaxSuppression:132

查看结果，第一张为原始图，第二张为使用非极大抑制的FAST，第三张为没有使用非极大抑制的FAST。

BRIEF(二进制的鲁棒独立基本特征)

BRIEF相关理论

SIFT使用128维矢量作为描述符。由于它使用浮点数，因此基本上需要512个字节；同样，SURF最少也需要256个字节（用于64像素）。为数千个功能部件创建这样的向量会占用大量内存，这对于资源受限的应用程序尤其是嵌入式系统而言是不可行的；内存越大，匹配所需的时间越长。
但是实际匹配可能不需要所有这些尺寸，可以使用PCA，LDA等几种方法对其进行压缩；甚至使用LSH（局部敏感哈希）进行哈希的其他方法也可以将这些SIFT描述符中的浮点数转换为二进制字符串；这些二进制字符串用于使用汉明距离匹配要素，这提供了更快的速度，因为查找汉明距离仅是应用XOR和位数，这在具有SSE指令的现代CPU中非常快；但是在这里，需要先找到描述符，然后才可以应用散列，这不能解决最初的内存问题。
现在介绍BRIEF，它提供了一种直接查找二进制字符串而无需查找描述符的快捷方式；它需要平滑的图像补丁，并以独特的方式（在纸上展示）选择一组$n_d(x,y)$位置对；然后，在这些位置对上进行一些像素强度比较；例如，令第一位置对为p和q，如果I§ < I(q)，则结果为1，否则为0；将其应用于所有$n_d$个位置对以获得$n_d$维位串。
该$n_d$可以是128、256或512，OpenCV支持所有这些，但默认情况下将是256（OpenCV以字节为单位表示，因此值将为16、32和64）；因此，一旦获得此信息，就可以使用汉明距离来匹配这些描述符。
重要的一点是，BRIEF是特征描述符，它不提供任何查找特征的方法；因此，将不得不使用任何其他特征检测器，例如SIFT，SURF等；建议使用CenSurE，它是一种快速检测器，并且BIM对于CenSurE点的工作原理甚至比对SURF点的工作要好一些。
简而言之，BRIEF是一种更快的方法特征描述符计算和匹配。除了平面内旋转较大的情况，它将提供很高的识别率。

OpenCV中的BRIEF

下面的代码显示了借助CenSurE检测器对Brief描述符的计算（在OpenCV中，CenSurE检测器称为STAR检测器，注意需要使用opencv contrib才能使用它）。
brief.py

import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt

img = cv.imread("./OpenCV/feature_simple.png", 0)
# 初始化FAST检测器
star = cv.xfeatures2d.StarDetector_create()
# 初始化BRIEF提取器
brief = cv.xfeatures2d.BriefDescriptorExtractor_create()
# 找到STAR的关键点
kp = star.detect(img, None)
# 计算BRIEF的描述符
kp, des = brief.compute(img, kp)
print(brief.descriptorSize())
print(des.shape)

结果：

32
(2, 32)

ORB(面向快速和旋转的BRIEF)

ORB相关理论

ORB基本上是FAST关键点检测器和Brief描述符的融合，并进行了许多修改以增强性能；首先，它使用FAST查找关键点，然后应用Harris角测度在其中找到前N个点，它还使用金字塔生成多尺度特征，但是一个问题是，FAST无法计算方向，那么旋转不变性呢？作者提出以下修改：
它计算角点位于中心的贴片的强度加权质心，从此角点到质心的矢量方向确定了方向；为了改善旋转不变性，使用x和y计算矩，它们应该在半径r的圆形区域中，其中
r是斑块的大小。
现在，对于描述符，ORB使用Brief描述符，但是已经看到，BRIEF的旋转性能很差；因此，ORB所做的就是根据关键点的方向“引导” BRIEF；对于位置$(x_i,y_i)$上n个二进制测试的任何特征集，定义一个2×n矩阵S，其中包含这些像素的坐标；然后使用面片的方向$\theta$，找到其旋转矩阵并旋转S以获得转向（旋转）版本$S_{\theta }$。
ORB将角度离散化为$\frac{2\pi }{30}$(12度)的增量，并构造了预先计算的Brief模式的查找表，只要关键点方向$\theta$在各个视图中一致，就将使用正确的点集$S_{\theta }$来计算其描述符。
BRIEF具有一个重要的特性，即每个位特征具有较大的方差，且均值接近0.5；但是，一旦沿关键点方向定向，它就会失去此属性，变得更加分散；高方差使功能更具区分性，因为它对输入的响应不同；另一个理想的特性是使测试不相关，因为从那时起每个测试都会对结果有所贡献；为了解决所有这些问题，ORB在所有可能的二进制测试中进行贪婪搜索，以找到方差高且均值接近0.5且不相关的测试，结果称为rBRIEF。
对于描述符匹配，使用了对传统LSH进行改进的多探针LSH；该论文说，ORB比SURF快得多，而SIFT和ORB描述符比SURF更好；在全景拼接等低功耗设备中，ORB是一个不错的选择。

OpenCV中的ORB

使用函数cv.ORB()或使用feature2d通用接口来创建ORB对象，它具有许多可选参数，最有用的是nFeatures表示要保留的最大特征数（默认为500），scoreType表示对特征进行排名的是Harris分数还是FAST分数（默认为Harris分数）等；另一个参数WTA_K决定点数产生定向的BRIEF描述符的每个元素，默认情况下为两个，即一次选择两个点；在这种情况下，为了匹配，将使用NORM_HAMMING距离；如果WTA_K为3或4，则需要3或4个点来生成BRIEF描述符，匹配距离由NORM_HANNING2定义；下面是显示ORB用法的简单代码：
orb.py

import cv2 as cv
import numpy as np
from matplotlib import pyplot as plt

img = cv.imread("./OpenCV/feature_simple.png", 0)
# 初始化ORB检测器
orb = cv.ORB.create()
# 用ORB寻找关键点
kp = orb.detect(img, None)
# 用ORB计算描述符
kp, des = orb.compute(img, kp)
# 仅绘制关键点的位置,而不绘制大小和方向
img2 = cv.drawKeypoints(img, kp, None, color=(0,255,0), flags=0)
images = [img, img2]
titles = ['Original', 'ORB', ]
for i in range(2):
    plt.subplot(1, 2, i + 1)
    plt.imshow(images[i], cmap='gray')
    plt.title(titles[i])
    plt.xticks([]), plt.yticks([])
plt.show()

学习来源：OpenCV-Python中文文档