系列定位:本章位于第2章(图像基础操作)之后,现有第4章(特征描述与匹配)之前。
阅读目标:理解"为什么这个像素点被称为角点"背后的几何直觉,而非仅仅调用 API。
3.1 角点检测:为什么我们需要"兴趣点"?
我们先从一个具体场景聊起。假设你用手机拍了一张桌角的照片,然后把手机稍微倾斜再拍一张。如果我们要让计算机把这两张照片"对齐",最稳妥的做法是什么?
直接对整幅图像做像素级比对?听起来很暴力,但稍微的光照变化或视角偏移就会让这种全局匹配崩溃。别急,我们换个思路:能不能先找到那些"就算视角变了,我也能一眼认出来"的局部 landmark 呢?
这些 landmark 就是兴趣点(Interest Points),而角点(Corner)是最经典的一类。角点的本质特征是:在这个点的极小邻域内,往任意方向移动,灰度都会发生剧烈变化。换句话说,角点是两条边缘的交汇点,它像一个十字路口,无论你从哪个方向走来,景象都会突变。
如果画成图会是什么样子?想象你在一张白纸上画了一个黑色的 L 形。L 形的拐角处就是一个天然角点——因为如果你把一个小窗口放在拐角,无论你把这个窗口往左、往右、往上还是往下移动,窗口里的黑白比例都会剧烈变化。
现在我们已经了解了角点的直觉定义,接下来看看计算机如何用数学语言精确捕捉这种"向哪走都变"的特性。
3.1.1 Harris 角点:用结构张量刻画局部灰度变化
3.1.1.1 结构张量(二阶矩矩阵)M 的邻域构建
问题驱动:假设我们有一个 3×3 的小窗口扣在某个像素上。如果我们把这个窗口往水平方向挪一格,窗口内的灰度变化大不大?往垂直方向挪呢?斜向呢?
我们需要一个数学工具来同时回答"所有方向上的变化程度"。这个工具就是结构张量(Structure Tensor),也叫二阶矩矩阵(Second Moment Matrix)。
第一步:计算图像梯度
我们先计算图像在 x 方向和 y 方向上的梯度,记为 Ix 和 Iy。这就像是给每个像素贴了两个标签:水平方向变化有多快,垂直方向变化有多快。
如果画成图会是什么样子?想象图像是一张地形图,Ix 是东西方向的坡度,Iy 是南北方向的坡度。
第二步:构造外积矩阵
在每个像素点,我们构造一个 2×2 的矩阵:
[ I<sub>x</sub><sup>2</sup> I<sub>x</sub>I<sub>y</sub> ]
[ I<sub>x</sub>I<sub>y</sub> I<sub>y</sub><sup>2</sup> ]
这个矩阵被称为梯度外积(Gradient Outer Product)。它记录了该点梯度在各个方向上的"协同关系"。
第三步:邻域加权求和
单点的梯度容易受噪声干扰,所以我们把一个小邻域(比如 3×3 或 5×5)内的外积矩阵加起来,并用高斯窗加权(离中心越近权重越大)。得到的就是结构张量 M:
M = Σ<sub>邻域</sub> w(u,v) · [ I<sub>x</sub><sup>2</sup> I<sub>x</sub>I<sub>y</sub> ]
[ I<sub>x</sub>I<sub>y</sub> I<sub>y</sub><sup>2</sup> ]
用更紧凑的记号:
M = [ A C ]
[ C B ]
其中:
- A = Σ w·Ix2 (水平方向变化的"总能量")
- B = Σ w·Iy2 (垂直方向变化的"总能量")
- C = Σ w·IxIy (两个方向变化的"协同量")
听起来抽象对吧?我们把它锚定到一个你已知的概念:这很像神经网络里 Batch Normalization 计算协方差矩阵的过程——我们也是在统计局部区域内的"特征协同关系"。
下面的 Mermaid 图展示了结构张量 M 的完整构建流程:
现在我们已经了解了结构张量 M 的构造过程,接下来看看如何从这个矩阵中读出"这是角点、边缘还是平坦区域"。
3.1.1.2 角点响应函数 R = det(M) − k·trace2(M) 的物理意义
问题驱动:M 是一个 2×2 对称矩阵,它有两个特征值 λ1 和 λ2。这两个特征值分别代表什么?
让我们做一个小实验。假设你有一个理想角点,比如黑白棋盘格的交叉点。在这个点:
- 往水平方向走,灰度变化剧烈 → λ1 很大
- 往垂直方向走,灰度变化也剧烈 → λ2 也很大
如果是一个边缘点(比如黑白边界上的一点):
- 沿边缘方向走,灰度几乎不变 → 一个特征值很小
- 垂直于边缘走,灰度剧变 → 另一个特征值很大
如果是平坦区域:
- 往哪走灰度都差不多 → 两个特征值都很小
下面的 Mermaid 图用椭圆可视化三种几何结构的特征值差异:
Harris 和 Stephens 在 1988 年提出了一个不需要显式计算特征值的巧妙方法。他们定义了角点响应函数:
R = det(M) − k · trace<sup>2</sup>(M)
其中:
- det(M) = λ1 · λ2 (特征值的乘积,像面积的度量)
- trace(M) = λ1 + λ2 (特征值的和,像周长的度量)
- k 是经验常数,通常取 0.04 ~ 0.06
物理直觉:det(M) 鼓励两个特征值都大;trace2(M) 惩罚"只有一个特征值特别大"的情况。两者的差值 R 就像一个"角点纯度计":
- R 很大且为正 → 角点
- R 为负且绝对值大 → 边缘
- |R| 很小 → 平坦区域
别急,我们来验证一下。假设 λ1 = 10, λ2 = 10(强角点):
- det = 100, trace = 20, trace2 = 400
- R = 100 − 0.04×400 = 84 ✓ 正值很大
假设 λ1 = 10, λ2 = 0.1(边缘):
- det = 1, trace ≈ 10.1, trace2 ≈ 102
- R = 1 − 0.04×102 ≈ −3.08 ✓ 负值
假设 λ1 = 0.1, λ2 = 0.1(平坦):
- det = 0.01, trace = 0.2, trace2 = 0.04
- R = 0.01 − 0.04×0.04 ≈ 0 ✓ 接近零
下面的流程图展示了 Harris 响应计算的核心链路:
在继续之前,让我们用结构化伪代码把 Harris 响应计算的核心流程固化下来:
Algorithm HarrisResponse
Input: 灰度图像 I, 高斯窗半径 σ, 经验常数 k
Output: 响应图 R
Step 1: 计算梯度
对 I 分别沿 x 和 y 方向求 Sobel 梯度
I<sub>x</sub> ← ∂I/∂x
I<sub>y</sub> ← ∂I/∂y
Step 2: 构造外积分量
A ← I<sub>x</sub> ⊙ I<sub>x</sub> // 逐元素平方
B ← I<sub>y</sub> ⊙ I<sub>y</sub>
C ← I<sub>x</sub> ⊙ I<sub>y</sub> // 逐元素乘积
Step 3: 邻域加权(高斯平滑)
Ā ← G(σ) * A // * 表示卷积
B̄ ← G(σ) * B
C̄ ← G(σ) * C
Step 4: 逐像素计算响应
for 每个像素 p do
det ← Ā[p]·B̄[p] − C̄[p]<sup>2</sup>
trace ← Ā[p] + B̄[p]
R[p] ← det − k · trace<sup>2</sup>
end
return R
3.1.1.3 邻域非极大值抑制(NMS)与经验阈值筛选
问题驱动:经过 Step 4,我们得到一幅"响应图",上面有很多山峰。但一个真实的角点不应该是一片高原,而应该是一个尖锐的峰顶。怎么避免"一峰变多峰"?
这就是**非极大值抑制(Non-Maximum Suppression, NMS)**的任务。
第一步:阈值筛选
先设定一个经验阈值 T(比如 R > 0.01 × max®)。低于 T 的全部清零。这相当于先淘汰一批"疑似角点"。
第二步:邻域 NMS
对每个通过阈值的像素,检查它是否是邻域(比如 3×3 或 5×5)内的局部最大值。如果不是,就抑制为零。
如果画成图会是什么样子?想象一幅等高线地图,NMS 就是只保留每个山峰的最高点,把山腰全部削平。
下面的 Mermaid 图展示了 NMS 的邻域比较逻辑:
Algorithm HarrisNMS
Input: 响应图 R, 阈值 T, 邻域半径 r
Output: 角点集合 C
C ← ∅
for 每个像素 p where R[p] > T do
is_max ← true
for 每个邻居 q in N<sub>r</sub>(p) do // N<sub>r</sub> 表示半径 r 邻域
if R[q] > R[p] then
is_max ← false
break
end
end
if is_max then
C ← C ∪ { p }
end
end
return C
经验之谈:阈值 T 的选取是 Harris 检测器最"玄学"的部分。T 太高,漏检;T 太低,误检。在实际工程中,我们通常会做一个直方图分析,看看 R 值的分布,然后选一个能把前 1%~5% 的峰值保留下来的 T。
现在我们已经了解了 Harris 角点检测的完整链路,接下来看看它的"升级版"——Shi-Tomasi 角点检测器。
3.1.2 Shi-Tomasi 角点:最小特征值准则
3.1.2.1 最小特征值准则的角点/边缘/平坦区域判别
问题驱动:Harris 用了一个组合函数 R = det − k·trace2 来避免开根号算特征值。但 k 的选取很敏感。如果我们直接看特征值本身,会不会更稳?
1994 年,Shi 和 Tomasi 在论文 Good Features to Track 中提出了一个更直接的准则:
R<sub>ST</sub> = min(λ<sub>1</sub>, λ<sub>2</sub>)
就这么简单。最小特征值决定了这个点"最弱方向上的变化强度"。如果这个最小值都很大,说明无论往哪个方向走,灰度都会剧变——这正是角点的定义。
如果画成图会是什么样子?想象一个木桶,λ1 和 λ2 是两块木板,角点评测的是最短的那块木板。最短木板都够长,桶才能装足够多的水。
下面的对比图清晰展示了 Harris 与 Shi-Tomasi 在判别几何时的差异:
对比 Harris 的"椭圆面积减周长惩罚",Shi-Tomasi 直接看椭圆的短轴长度。这避免了 k 的经验选取问题,在跟踪任务中表现更稳定。
Algorithm ShiTomasiResponse
Input: 灰度图像 I, 邻域窗口半径 w
Output: 最小特征值图 R<sub>min</sub>
Step 1~3: 同 Harris,计算结构张量 M = [A C; C B]
Step 4: 逐像素求最小特征值
for 每个像素 p do
// 解析解:2×2 矩阵的特征值
trace ← A[p] + B[p]
det ← A[p]·B[p] − C[p]<sup>2</sup>
discriminant ← √(trace<sup>2</sup> − 4·det)
λ<sub>1</sub> ← (trace + discriminant) / 2
λ<sub>2</sub> ← (trace − discriminant) / 2
R<sub>min</sub>[p] ← min(λ<sub>1</sub>, λ<sub>2</sub>)
end
return R<sub>min</sub>
锚定已知:这很像你在训练神经网络时关注的瓶颈层(Bottleneck)——整个系统的性能往往由最弱的那个维度决定。Shi-Tomasi 把这个思想用在了几何判别上。
3.1.2.2 goodFeaturesToTrack 的 maxCorners 与 qualityLevel
问题驱动:我们算出了一幅"最小特征值图",上面密密麻麻都是候选点。但做光流跟踪时,我们只需要"最强的那一批"。怎么优雅地控制数量和质量?
OpenCV 把 Shi-Tomasi 封装成了 goodFeaturesToTrack() 函数。其中两个核心参数是:
- maxCorners:你最多想要多少个角点。比如 100、500。
- qualityLevel:一个相对质量因子,通常是 0.01 ~ 0.1。
qualityLevel 的物理意义是什么?假设全图最小特征值的最大值是 λmax。那么只有满足 λ ≥ qualityLevel × λmax 的点才有资格进入候选池。
如果画成图会是什么样子?想象一条从高到低排列的特征值瀑布,qualityLevel 画了一条水平线,只有高出这条线的才留下来。maxCorners 则像一个容量有限的杯子,只装前 N 个最高的。
下面的 Mermaid 图展示了这一筛选机制:
Algorithm GoodFeaturesToTrack
Input: 最小特征值图 R<sub>min</sub>, maxCorners N, qualityLevel q
Output: 角点集合 C
λ<sub>max</sub> ← max(R<sub>min</sub>)
T ← q · λ<sub>max</sub> // 相对阈值
// 第一步:阈值筛选
C<sub>cand</sub> ← { p | R<sub>min</sub>[p] ≥ T }
// 第二步:按 R<sub>min</sub> 降序排序
Sort C<sub>cand</sub> by R<sub>min</sub> descending
// 第三步:截断
if |C<sub>cand</sub>| > N then
C ← Top-N(C<sub>cand</sub>)
else
C ← C<sub>cand</sub>
end
return C
3.1.2.3 minDistance 与亚像素精化(cornerSubPix)联合调用
问题驱动:goodFeaturesToTrack 按强度排序选出前 N 个角点,但如果最强的两个角点紧挨在一起(比如相距 2 个像素),它们真的提供独立信息吗?
minDistance:空间去冗余
minDistance 参数强制要求:任意两个被保留的角点之间的欧氏距离不得小于该值。实现上通常是一个贪婪算法——从最强点开始,逐个检查候选点是否在已有角点的 minDistance 范围内。
如果画成图会是什么样子?想象你在地图上插旗,每面旗周围有一个半径为 minDistance 的"禁区",新的旗不能插在别人的禁区里。
下面的 Mermaid 图展示了 minDistance 的贪婪过滤过程:
Algorithm MinDistanceFilter
Input: 候选角点集合 C<sub>cand</sub>(已按强度排序), 最小距离 d<sub>min</sub>
Output: 稀疏角点集合 C
C ← ∅
for p in C<sub>cand</sub> do
too_close ← false
for q in C do
if ||p − q|| < d<sub>min</sub> then
too_close ← true
break
end
end
if not too_close then
C ← C ∪ { p }
end
end
return C
cornerSubPix:亚像素精化
检测到的角点坐标通常是整数像素。但在很多下游任务(如相机标定、三维重建)中,我们需要亚像素级的精度。
OpenCV 的 cornerSubPix() 基于一个关键观察:真实的角点位置,应该是其邻域内梯度向量相交的"最优交点"。算法通过迭代优化,找到一个使局部灰度差异最小的亚像素位置。
Algorithm CornerSubPixRefinement
Input: 图像 I, 初始角点集合 C, 搜索窗口 winSize, 终止条件 criteria
Output: 精化后角点集合 C̃
C̃ ← ∅
for p in C do
p̃ ← p
repeat
// 在 p̃ 周围 winSize 窗口内建立线性方程组
// 利用梯度正交约束求解偏移量 Δ
Δ ← SolveGradientOrthogonalSystem(I, p̃, winSize)
p̃ ← p̃ + Δ
until ||Δ|| < criteria.epsilon or 迭代次数 ≥ criteria.maxCount
C̃ ← C̃ ∪ { p̃ }
end
return C̃
实际使用中的联合调用顺序:
goodFeaturesToTrack出整数角点cornerSubPix精化到亚像素- 将结果喂给
calcOpticalFlowPyrLK做跟踪
在继续之前,让我们看看另一种完全不同的角点检测哲学——它不再依赖梯度矩阵,而是直接比较像素亮度。
3.1.3 FAST 角点:速度至上的像素比较哲学
3.1.3.1 Bresenham 圆周(半径 3)像素比较与加速决策树
问题驱动:Harris 和 Shi-Tomasi 都需要计算梯度、做高斯平滑、求特征值,计算量不小。如果我们只是想"快点找到看起来像角点的地方",能不能跳过所有浮点运算?
2006 年,Rosten 和 Drummond 提出了 FAST(Features from Accelerated Segment Test)。它的核心思想极其朴素:
如果一个像素是角点,那么它周围应该有一圈连续的像素,要么都比它亮很多,要么都比它暗很多。
Bresenham 圆周
FAST 选取一个半径为 3 的 Bresenham 圆,圆上恰好有 16 个像素(记为 p1 到 p16),像时钟刻度一样环绕中心像素 p。
如果画成图会是什么样子?想象一个 3×3 的格子,中心是候选角点。但 FAST 的"圆"比 3×3 的 8-邻域更大一点——它包含了 16 个点,像一个稍大的甜甜圈扣在中心点上。
下面的 Mermaid 图展示了 FAST 的 Bresenham 圆像素布局:
加速决策树
朴素实现需要对 16 个点逐一比较,但 Rosten 用**决策树(Decision Tree)**做了加速。核心观察是:如果 p1 和 p9(正对相对的点)与中心像素的差值都不超过阈值,那这个点可以直接被判为非角点,无需检查其余 14 个点。
下面的 Mermaid 图展示了 FAST 的加速决策树逻辑:
Algorithm FASTSegmentTest
Input: 图像 I, 中心点 p, 阈值 t, 圆周像素 {p<sub>1</sub>..p<sub>16</sub>}
Output: 是否为角点(布尔值)
I<sub>p</sub> ← I[p]
// 快速拒绝:检查 1, 9, 5, 13 四个轴向点
if |I[p<sub>1</sub>] − I<sub>p</sub>| < t and |I[p<sub>9</sub>] − I<sub>p</sub>| < t and
|I[p<sub>5</sub>] − I<sub>p</sub>| < t and |I[p<sub>13</sub>] − I<sub>p</sub>| < t then
return false // 四个正方向都温和,不可能是角点
end
// 否则进入完整测试:统计连续满足条件的像素数
brighter ← { i | I[p<sub>i</sub>] > I<sub>p</sub> + t }
darker ← { i | I[p<sub>i</sub>] < I<sub>p</sub> − t }
if 存在长度 ≥ n 的连续弧 ⊆ brighter then return true end
if 存在长度 ≥ n 的连续弧 ⊆ darker then return true end
return false
锚定已知:这个决策树加速策略,很像你在训练一个极浅层的决策树分类器——先用最强的几个特征做粗筛,再对难分样本做精细判断。
3.1.3.2 连续像素数阈值 n 与类型(TYPE_9_16 / 5_8)选择
问题驱动:FAST 说"有 n 个连续像素更亮或更暗"就算角点。那 n 取多少?16 个全亮?要求太严;3 个?太松。
经验表明:
- TYPE_9_16(n = 9):最常用,在 16 个圆周像素中要求 9 个连续满足条件。重复率和稳定性较好。
- TYPE_7_12(n = 7):更宽松,检测更多角点,但误检率上升。
- TYPE_5_8(n = 5):最宽松,几乎变成"边缘检测器"。
如果画成图会是什么样子?想象一个 16 等分的钟面,n=9 意味着至少连续 9 个刻度(半圈多一点)必须同时更亮或更暗。这确保了中心点确实处于一个"突变交汇"的位置,而不是某条缓慢过渡的边界上。
下面的 Mermaid 图展示了不同 n 值对应的检测严格程度:
OpenCV 中通过 type 参数控制,默认通常是 TYPE_9_16。
Algorithm FASTTypeSelection
Input: 应用需求(实时性/精度/密度)
Output: 推荐 FAST 类型
if 实时性优先 且 纹理丰富 then
return TYPE_9_16 // 默认推荐
end
if 需要极高密度特征点 then
return TYPE_7_12 // 更宽松
end
if 嵌入式平台 且 帧率 > 60fps then
return TYPE_5_8 // 最快,但需配合强 NMS
end
3.1.3.3 非极大值抑制与方向计算(oFAST)的扩展
问题驱动:FAST 检测到的角点有一个致命弱点——它没有"强度分数",只有 0/1 判断。如果我们想在同一片区域保留最强的 500 个角点,怎么排序?
用 Harris 响应做 NMS 分数
这就是 oFAST(oriented FAST) 的第一步改进:对每个 FAST 角点,计算其局部的 Harris 响应 R,用这个 R 作为角点的"强度分"。然后做非极大值抑制,只保留分数最高的点。
如果画成图会是什么样子?FAST 像是一个粗犷的勘探队,快速标记出所有"可能有矿"的区域;然后 Harris 响应像是一个精密的化验员,给每个区域评级,只保留品位最高的矿点。
下面的 Mermaid 图展示了 oFAST 的增强链路:
强度质心(Intensity Centroid)定方向
为了让角点具有旋转不变性,oFAST 还计算了每个角点的主方向。方法叫强度质心法:
- 在角点周围取一个图像块
- 计算块内像素的零阶矩和一阶矩:
- m00 = Σ I(x,y)
- m10 = Σ x·I(x,y)
- m01 = Σ y·I(x,y)
- 质心位置:(xc, yc) = (m10/m00, m01/m00)
- 方向角:θ = atan2(m01, m10)
Algorithm oFASTOrientation
Input: 图像 I, FAST 角点集合 C, 块半径 r
Output: 带方向的角点集合 C<sub>o</sub>
C<sub>o</sub> ← ∅
for p in C do
// 1. 计算矩
m<sub>00</sub> ← 0; m<sub>10</sub> ← 0; m<sub>01</sub> ← 0
for (x,y) in Patch(p, r) do
m<sub>00</sub> ← m<sub>00</sub> + I[x,y]
m<sub>10</sub> ← m<sub>10</sub> + x · I[x,y]
m<sub>01</sub> ← m<sub>01</sub> + y · I[x,y]
end
// 2. 方向
θ ← atan2(m<sub>01</sub>, m<sub>10</sub>)
// 3. Harris 分数(用于后续 NMS 排序)
score ← HarrisResponse(I, p)
C<sub>o</sub> ← C<sub>o</sub> ∪ { (p, θ, score) }
end
// 4. 按 score 做非极大值抑制
C<sub>o</sub><sup>′</sup> ← NonMaxSuppression(C<sub>o</sub>, score)
return C<sub>o</sub><sup>′</sup>
闭环:oFAST 是 ORB 特征检测器的前半部分。它解决了 FAST"没有方向、没有强度"的短板,同时保留了 FAST 的极致速度。
现在我们已经了解了三种主流角点检测器的内部机制,接下来进入最实用的环节——如何根据你的场景选择最合适的那一个。
3.1.4 角点检测器对比:从论文指标到工程选型
3.1.4.1 重复率(Repeatability)与定位精度评估指标
问题驱动:论文里常说"我们的检测器重复率更高"。这个重复率到底怎么算?
重复率 Repeatability
假设你有一张原图 I 和一张变换后的图 I′(比如旋转了 30°)。分别在两张图上跑同一个检测器,得到角点集合 C 和 C′。通过已知的变换矩阵,可以把 C′ 映射回 I 的坐标系。
重复率的经典定义(Mikolajczyk & Schmid, 2004):
Rep = |C ∩ C<sup>′</sup>| / min(|C|, |C<sup>′</sup>|)
也就是说:在两幅图上都成功检测到的角点数量,除以两幅图中角点数量的较小值。
如果画成图会是什么样子?想象两个重叠的透明胶片,上面各有一些红点。重复率衡量的是"重叠红点"占"较少那张胶片上红点总数"的比例。
下面的 Mermaid 图展示了重复率的计算逻辑:
定位误差 Localization Error
重复率只关心"有没有检测到",不关心"偏差了多少像素"。定位误差定义为:
Le = (1/N) Σ ||p<sub>i</sub> − p<sub>gt</sub>||<sup>2</sup>
其中 pgt 是最近的真实角点(或重投影后的对应点)。
根据 Zhang et al. (2022) 在 A Benchmark for the Evaluation of Corner Detectors 中的研究,他们还提出了 RGT(Repeatability referenced to Ground Truth),解决了传统重复率可能把"重复出现的误检"也算作正例的缺陷。
RGT = N<sub>rgt</sub> / [ 2 / (1/N<sub>o</sub> + 1/N<sub>t</sub>) ]
其中 Nrgt 是"在两幅图中都被检测到,且都靠近真实角点"的数量。
3.1.4.2 计算复杂度与嵌入式实时性权衡
问题驱动:我们刚才聊了这么多数学,但如果要在树莓派上跑 60fps,该选谁?
让我们做一个复杂度盘点(假设图像尺寸为 W×H):
| 检测器 | 核心运算 | 典型复杂度 | 每帧 720p 耗时(参考) |
|---|---|---|---|
| Harris | Sobel 梯度 + 高斯卷积 + 行列式/迹 | O(WH) 浮点密集 | ~15-30 ms |
| Shi-Tomasi | 同 Harris + 开方求特征值 | O(WH) 浮点密集 | ~20-40 ms |
| FAST | 整数比较 + 决策树 | O(WH) 整数运算,可提前终止 | ~1-5 ms |
下面的 Mermaid 图用流水线比喻展示了三者的运算特征:
如果画成图会是什么样子?想象三条流水线:Harris 和 Shi-Tomasi 是精密机床,每一步都要浮点运算;FAST 是一条高速分拣带,大部分包裹在第一站就被扔掉了。
嵌入式选型原则:
- 有 NEON/SSE 优化 → FAST 可轻松破百帧
- 需要亚像素精度 → Harris / Shi-Tomasi + cornerSubPix
- 同时需要方向和描述子 → oFAST(后续接 rBRIEF 就是 ORB)
3.1.4.3 不同场景(纹理/光照/尺度/旋转)的选型矩阵
问题驱动:假设你面对四个截然不同的任务——无人机实时避障、文档扫描角点定位、全景图拼接、AR 平面跟踪。同一个检测器能通吃吗?
下面这张选型矩阵,是我们把前面的原理压缩成的工程决策表:
| 场景特征 | 推荐检测器 | 理由 |
|---|---|---|
| 纹理丰富 + 实时性要求高(如无人机) | FAST / oFAST | 整数运算,决策树提前终止,帧率优先 |
| 光照变化大 + 需要精度(如工业检测) | Shi-Tomasi + cornerSubPix | 最小特征值准则稳定,亚像素精化满足测量需求 |
| 尺度变化大(如全景拼接) | Harris 多尺度 / SIFT | Harris 可扩展尺度空间;若需旋转+尺度不变,直接上 SIFT/SURF |
| 旋转变化 + 需描述子(如 AR 跟踪) | oFAST + rBRIEF (ORB) | oFAST 给方向,rBRIEF 给二进制描述子,整体极快 |
| 边缘密集但角点稀少(如建筑轮廓) | Shi-Tomasi | 对边缘响应弱,不易把边缘误判为角点 |
| 平坦区域多 + 噪声大 | Harris (k 调大) | trace2 惩罚项可抑制噪声引起的伪响应 |
下面的 Mermaid 图用四象限坐标系展示了选型直觉:
如果画成图会是什么样子?想象一个四象限坐标系,横轴是"实时性要求",纵轴是"几何精度要求"。FAST 躺在左下角(极快、够用),Shi-Tomasi 躺在右上角(慢但稳),Harris 在中间偏上,而 ORB(oFAST + rBRIEF)则是一个试图同时往两个轴靠近的折中方案。
闭环:这在训练/实际使用中意味着什么?
好,我们花了这么长时间,从结构张量讲到 Bresenham 圆,从特征值讲到决策树。现在让我们收束一下:在实际工程中,这些知识意味着什么?
-
不要盲调参数:
qualityLevel和minDistance不是魔法数字。理解 Shi-Tomasi 的"最短木板原理"后,你会知道 qualityLevel 本质上是"全局最大响应的百分比",而不是绝对阈值——这让它在不同图像间更具迁移性。 -
NMS 是隐形的杀手:很多初学者抱怨"检测到了一堆扎堆的角点",那是因为忽略了 NMS。记住:角点是局部几何事件,两个相距 2 像素的"角点"在物理上几乎一定是同一个结构。
-
FAST 不是万能药:它确实快,但在低纹理、强噪声场景下,TYPE_9_16 的严格条件可能导致漏检。此时不妨退回 Harris,或先用高斯滤波降噪。
-
亚像素精化是免费的午餐:如果你已经在用
goodFeaturesToTrack,后面跟一句cornerSubPix几乎不增加代码复杂度,却能让标定精度提升一个数量级。
延伸阅读
如果你想把本章的"点"连成"线",再扩展成"面",建议按以下顺序深入:
-
原始论文:
- Harris & Stephens (1988). A Combined Corner and Edge Detector. (Alvey Vision Conference) —— 结构张量的开山之作。
- Shi & Tomasi (1994). Good Features to Track. (CVPR) —— 跟踪视角下的角点优选。
- Rosten & Drummond (2006). Machine Learning for High-Speed Corner Detection. (ECCV) —— FAST 与决策树加速。
- Rublee et al. (2011). ORB: An Efficient Alternative to SIFT or SURF. (ICCV) —— oFAST + rBRIEF 的完整实现。
-
评估基准:
- Mikolajczyk et al. (2005). A Comparison of Affine Region Detectors. (IJCV) —— 重复率与匹配率的经典定义。
- Zhang et al. (2022). A Benchmark for the Evaluation of Corner Detectors. (Appl. Sci.) —— 带 Ground Truth 的 Urban-Corner 数据集与 RGT 指标。
-
OpenCV 官方文档:
cv::cornerHarris,cv::goodFeaturesToTrack,cv::cornerSubPix,cv::FAST—— 注意阅读参数背后的数学说明页。
-
下一步(第4章预告):
当我们有了"点",就需要"描述"它。第4章将讲解 SIFT、SURF、ORB、BRISK 等描述子,以及它们如何在特征空间中找到"失散多年的兄弟"。
本章导航回顾:
- 3.1.1 我们从"局部灰度变化"出发,用结构张量 M 和响应函数 R 建立了 Harris 角点的几何直觉。
- 3.1.2 通过最小特征值准则,Shi-Tomasi 让角点筛选更稳定,并用
goodFeaturesToTrack实现了工程化的数量与质量控制。- 3.1.3 FAST 用像素比较和决策树跳过了所有浮点运算,oFAST 则补上了方向和强度分,为 ORB 铺好了路。
- 3.1.4 最后我们把论文指标翻译成选型矩阵,让你在面对无人机、工业相机、手机 AR 时,能自信地说"这个场景,我选它"。
我们下一章见。
本文遵循 CC 4.0 BY-SA 版权协议。架构图与伪代码均为原创整理,引用论文已标注。
9998



被折叠的 条评论
为什么被折叠?



