【opencv高级教程】3.1 角点检测

【OpenCV】角点检测:Harris角点及Shi-Tomasi角点检测 角点 特征检测与匹配是Computer Vision 应用总重要的一部分,这需要寻找图像之间的特征建立对应关系。点,也就是图像中的特殊位置,是很常用的一类特征,点的局部特征也可以叫做“关键特征点”(keypoint feature),或“兴趣点”(interest point),或“角点”(conrner)。 关于角点的具体描述可以有几种: 一阶导数(即灰度的梯度)的局部最大所对应的像素点;... 阅读详情

系列定位:本章位于第2章(图像基础操作)之后,现有第4章(特征描述与匹配)之前。
阅读目标:理解"为什么这个像素点被称为角点"背后的几何直觉,而非仅仅调用 API。


3.1 角点检测:为什么我们需要"兴趣点"?

我们先从一个具体场景聊起。假设你用手机拍了一张桌角的照片,然后把手机稍微倾斜再拍一张。如果我们要让计算机把这两张照片"对齐",最稳妥的做法是什么?

直接对整幅图像做像素级比对?听起来很暴力,但稍微的光照变化或视角偏移就会让这种全局匹配崩溃。别急,我们换个思路:能不能先找到那些"就算视角变了,我也能一眼认出来"的局部 landmark 呢?

这些 landmark 就是兴趣点(Interest Points),而角点(Corner)是最经典的一类。角点的本质特征是:在这个点的极小邻域内,往任意方向移动,灰度都会发生剧烈变化。换句话说,角点是两条边缘的交汇点,它像一个十字路口,无论你从哪个方向走来,景象都会突变。

如果画成图会是什么样子?想象你在一张白纸上画了一个黑色的 L 形。L 形的拐角处就是一个天然角点——因为如果你把一个小窗口放在拐角,无论你把这个窗口往左、往右、往上还是往下移动,窗口里的黑白比例都会剧烈变化。

现在我们已经了解了角点的直觉定义,接下来看看计算机如何用数学语言精确捕捉这种"向哪走都变"的特性。


3.1.1 Harris 角点:用结构张量刻画局部灰度变化

3.1.1.1 结构张量(二阶矩矩阵)M 的邻域构建

问题驱动:假设我们有一个 3×3 的小窗口扣在某个像素上。如果我们把这个窗口往水平方向挪一格,窗口内的灰度变化大不大?往垂直方向挪呢?斜向呢?

我们需要一个数学工具来同时回答"所有方向上的变化程度"。这个工具就是结构张量(Structure Tensor),也叫二阶矩矩阵(Second Moment Matrix)。

第一步:计算图像梯度

我们先计算图像在 x 方向和 y 方向上的梯度,记为 Ix 和 Iy。这就像是给每个像素贴了两个标签:水平方向变化有多快,垂直方向变化有多快。

如果画成图会是什么样子?想象图像是一张地形图,Ix 是东西方向的坡度,Iy 是南北方向的坡度。

第二步:构造外积矩阵

在每个像素点,我们构造一个 2×2 的矩阵:

[ I<sub>x</sub><sup>2</sup>      I<sub>x</sub>I<sub>y</sub> ]
[ I<sub>x</sub>I<sub>y</sub>     I<sub>y</sub><sup>2</sup>   ]

这个矩阵被称为梯度外积(Gradient Outer Product)。它记录了该点梯度在各个方向上的"协同关系"。

第三步:邻域加权求和

单点的梯度容易受噪声干扰,所以我们把一个小邻域(比如 3×3 或 5×5)内的外积矩阵加起来,并用高斯窗加权(离中心越近权重越大)。得到的就是结构张量 M:

M = Σ<sub>邻域</sub> w(u,v) · [ I<sub>x</sub><sup>2</sup>      I<sub>x</sub>I<sub>y</sub> ]
                    [ I<sub>x</sub>I<sub>y</sub>     I<sub>y</sub><sup>2</sup>   ]

用更紧凑的记号:

M = [ A  C ]
    [ C  B ]

其中:

  • A = Σ w·Ix2 (水平方向变化的"总能量")
  • B = Σ w·Iy2 (垂直方向变化的"总能量")
  • C = Σ w·IxIy (两个方向变化的"协同量")

听起来抽象对吧?我们把它锚定到一个你已知的概念:这很像神经网络里 Batch Normalization 计算协方差矩阵的过程——我们也是在统计局部区域内的"特征协同关系"。

下面的 Mermaid 图展示了结构张量 M 的完整构建流程:

灰度图像 I

Sobel 梯度计算

Ix = ∂I/∂x

Iy = ∂I/∂y

外积分量: Ix2, IxIy, Iy2

高斯加权平滑 G(σ) * ·

结构张量 M = [A C; C B]

现在我们已经了解了结构张量 M 的构造过程,接下来看看如何从这个矩阵中读出"这是角点、边缘还是平坦区域"。


3.1.1.2 角点响应函数 R = det(M) − k·trace2(M) 的物理意义

问题驱动:M 是一个 2×2 对称矩阵,它有两个特征值 λ1 和 λ2。这两个特征值分别代表什么?

让我们做一个小实验。假设你有一个理想角点,比如黑白棋盘格的交叉点。在这个点:

  • 往水平方向走,灰度变化剧烈 → λ1 很大
  • 往垂直方向走,灰度变化也剧烈 → λ2 也很大

如果是一个边缘点(比如黑白边界上的一点):

  • 沿边缘方向走,灰度几乎不变 → 一个特征值很小
  • 垂直于边缘走,灰度剧变 → 另一个特征值很大

如果是平坦区域:

  • 往哪走灰度都差不多 → 两个特征值都很小

下面的 Mermaid 图用椭圆可视化三种几何结构的特征值差异:

特征值椭圆可视化

角点
λ1 大, λ2 大
椭圆接近圆形

边缘
λ1 大, λ2 ≈ 0
椭圆扁平

平坦
λ1 ≈ 0, λ2 ≈ 0
椭圆缩为点

结构张量 M

Harris 和 Stephens 在 1988 年提出了一个不需要显式计算特征值的巧妙方法。他们定义了角点响应函数:

R = det(M) − k · trace<sup>2</sup>(M)

其中:

  • det(M) = λ1 · λ2 (特征值的乘积,像面积的度量)
  • trace(M) = λ1 + λ2 (特征值的和,像周长的度量)
  • k 是经验常数,通常取 0.04 ~ 0.06

物理直觉:det(M) 鼓励两个特征值都大;trace2(M) 惩罚"只有一个特征值特别大"的情况。两者的差值 R 就像一个"角点纯度计":

  • R 很大且为正 → 角点
  • R 为负且绝对值大 → 边缘
  • |R| 很小 → 平坦区域

别急,我们来验证一下。假设 λ1 = 10, λ2 = 10(强角点):

  • det = 100, trace = 20, trace2 = 400
  • R = 100 − 0.04×400 = 84 ✓ 正值很大

假设 λ1 = 10, λ2 = 0.1(边缘):

  • det = 1, trace ≈ 10.1, trace2 ≈ 102
  • R = 1 − 0.04×102 ≈ −3.08 ✓ 负值

假设 λ1 = 0.1, λ2 = 0.1(平坦):

  • det = 0.01, trace = 0.2, trace2 = 0.04
  • R = 0.01 − 0.04×0.04 ≈ 0 ✓ 接近零

下面的流程图展示了 Harris 响应计算的核心链路:

是

否

输入: 灰度图 I

Step 1: Sobel 梯度
Ix, Iy

Step 2: 外积分量
A=Ix2, B=Iy2, C=IxIy

Step 3: 高斯平滑
Ā, B̄, C̄

Step 4: 逐像素响应
R = det − k·trace2

R > T 阈值?

候选角点

抑制

NMS 非极大值抑制

最终角点集合

在继续之前,让我们用结构化伪代码把 Harris 响应计算的核心流程固化下来:

Algorithm HarrisResponse
Input:  灰度图像 I, 高斯窗半径 σ, 经验常数 k
Output: 响应图 R

Step 1: 计算梯度
    对 I 分别沿 x 和 y 方向求 Sobel 梯度
    I<sub>x</sub> ← ∂I/∂x
    I<sub>y</sub> ← ∂I/∂y

Step 2: 构造外积分量
    A ← I<sub>x</sub> ⊙ I<sub>x</sub>    // 逐元素平方
    B ← I<sub>y</sub> ⊙ I<sub>y</sub>
    C ← I<sub>x</sub> ⊙ I<sub>y</sub>    // 逐元素乘积

Step 3: 邻域加权(高斯平滑)
    Ā ← G(σ) * A      // * 表示卷积
    B̄ ← G(σ) * B
    C̄ ← G(σ) * C

Step 4: 逐像素计算响应
    for 每个像素 p do
        det  ← Ā[p]·B̄[p] − C̄[p]<sup>2</sup>
        trace ← Ā[p] + B̄[p]
        R[p] ← det − k · trace<sup>2</sup>
    end

return R

3.1.1.3 邻域非极大值抑制(NMS)与经验阈值筛选

问题驱动:经过 Step 4,我们得到一幅"响应图",上面有很多山峰。但一个真实的角点不应该是一片高原,而应该是一个尖锐的峰顶。怎么避免"一峰变多峰"?

这就是**非极大值抑制(Non-Maximum Suppression, NMS)**的任务。

第一步:阈值筛选

先设定一个经验阈值 T(比如 R > 0.01 × max®)。低于 T 的全部清零。这相当于先淘汰一批"疑似角点"。

第二步:邻域 NMS

对每个通过阈值的像素,检查它是否是邻域(比如 3×3 或 5×5)内的局部最大值。如果不是,就抑制为零。

如果画成图会是什么样子?想象一幅等高线地图,NMS 就是只保留每个山峰的最高点,把山腰全部削平。

下面的 Mermaid 图展示了 NMS 的邻域比较逻辑:

是

否

响应图 R

阈值筛选
R > T

候选像素 p

p 是邻域 Nr(p) 内最大值?

保留为角点

抑制为 0

最终角点集合 C

Algorithm HarrisNMS
Input:  响应图 R, 阈值 T, 邻域半径 r
Output: 角点集合 C

C ← ∅

for 每个像素 p where R[p] > T do
    is_max ← true
    for 每个邻居 q in N<sub>r</sub>(p) do      // N<sub>r</sub> 表示半径 r 邻域
        if R[q] > R[p] then
            is_max ← false
            break
        end
    end
    if is_max then
        C ← C ∪ { p }
    end
end

return C

经验之谈:阈值 T 的选取是 Harris 检测器最"玄学"的部分。T 太高,漏检;T 太低,误检。在实际工程中,我们通常会做一个直方图分析,看看 R 值的分布,然后选一个能把前 1%~5% 的峰值保留下来的 T。

现在我们已经了解了 Harris 角点检测的完整链路,接下来看看它的"升级版"——Shi-Tomasi 角点检测器。


3.1.2 Shi-Tomasi 角点:最小特征值准则

3.1.2.1 最小特征值准则的角点/边缘/平坦区域判别

问题驱动:Harris 用了一个组合函数 R = det − k·trace2 来避免开根号算特征值。但 k 的选取很敏感。如果我们直接看特征值本身,会不会更稳?

1994 年,Shi 和 Tomasi 在论文 Good Features to Track 中提出了一个更直接的准则:

R<sub>ST</sub> = min(λ<sub>1</sub>, λ<sub>2</sub>)

就这么简单。最小特征值决定了这个点"最弱方向上的变化强度"。如果这个最小值都很大,说明无论往哪个方向走,灰度都会剧变——这正是角点的定义。

如果画成图会是什么样子?想象一个木桶,λ1 和 λ2 是两块木板,角点评测的是最短的那块木板。最短木板都够长,桶才能装足够多的水。

下面的对比图清晰展示了 Harris 与 Shi-Tomasi 在判别几何时的差异:

ShiTomasi判别

Harris判别

det = λ1λ2

trace = λ1+λ2

R = det − k·trace2

λ1

λ2

RST = min(λ1, λ2)

结构张量 M

对比 Harris 的"椭圆面积减周长惩罚",Shi-Tomasi 直接看椭圆的短轴长度。这避免了 k 的经验选取问题,在跟踪任务中表现更稳定。

Algorithm ShiTomasiResponse
Input:  灰度图像 I, 邻域窗口半径 w
Output: 最小特征值图 R<sub>min</sub>

Step 1~3: 同 Harris,计算结构张量 M = [A C; C B]

Step 4: 逐像素求最小特征值
    for 每个像素 p do
        // 解析解:2×2 矩阵的特征值
        trace  ← A[p] + B[p]
        det    ← A[p]·B[p] − C[p]<sup>2</sup>
        discriminant ← √(trace<sup>2</sup> − 4·det)
        λ<sub>1</sub> ← (trace + discriminant) / 2
        λ<sub>2</sub> ← (trace − discriminant) / 2
        R<sub>min</sub>[p] ← min(λ<sub>1</sub>, λ<sub>2</sub>)
    end

return R<sub>min</sub>

锚定已知:这很像你在训练神经网络时关注的瓶颈层(Bottleneck)——整个系统的性能往往由最弱的那个维度决定。Shi-Tomasi 把这个思想用在了几何判别上。


3.1.2.2 goodFeaturesToTrack 的 maxCorners 与 qualityLevel

问题驱动:我们算出了一幅"最小特征值图",上面密密麻麻都是候选点。但做光流跟踪时,我们只需要"最强的那一批"。怎么优雅地控制数量和质量?

OpenCV 把 Shi-Tomasi 封装成了 goodFeaturesToTrack() 函数。其中两个核心参数是:

  • maxCorners:你最多想要多少个角点。比如 100、500。
  • qualityLevel:一个相对质量因子,通常是 0.01 ~ 0.1。

qualityLevel 的物理意义是什么?假设全图最小特征值的最大值是 λmax。那么只有满足 λ ≥ qualityLevel × λmax 的点才有资格进入候选池。

如果画成图会是什么样子?想象一条从高到低排列的特征值瀑布,qualityLevel 画了一条水平线,只有高出这条线的才留下来。maxCorners 则像一个容量有限的杯子,只装前 N 个最高的。

下面的 Mermaid 图展示了这一筛选机制:

是

否

最小特征值图 Rmin

求全局最大值 λmax

设定相对阈值
T = qualityLevel × λmax

筛选: Rmin[p] ≥ T

按 Rmin 降序排序

候选数 > maxCorners?

截断取前 N 个

保留全部候选

输出角点集合 C

Algorithm GoodFeaturesToTrack
Input:  最小特征值图 R<sub>min</sub>, maxCorners N, qualityLevel q
Output: 角点集合 C

λ<sub>max</sub> ← max(R<sub>min</sub>)
T ← q · λ<sub>max</sub>          // 相对阈值

// 第一步:阈值筛选
C<sub>cand</sub> ← { p | R<sub>min</sub>[p] ≥ T }

// 第二步:按 R<sub>min</sub> 降序排序
Sort C<sub>cand</sub> by R<sub>min</sub> descending

// 第三步:截断
if |C<sub>cand</sub>| > N then
    C ← Top-N(C<sub>cand</sub>)
else
    C ← C<sub>cand</sub>
end

return C

3.1.2.3 minDistance 与亚像素精化(cornerSubPix)联合调用

问题驱动:goodFeaturesToTrack 按强度排序选出前 N 个角点,但如果最强的两个角点紧挨在一起(比如相距 2 个像素),它们真的提供独立信息吗?

minDistance:空间去冗余

minDistance 参数强制要求:任意两个被保留的角点之间的欧氏距离不得小于该值。实现上通常是一个贪婪算法——从最强点开始,逐个检查候选点是否在已有角点的 minDistance 范围内。

如果画成图会是什么样子?想象你在地图上插旗,每面旗周围有一个半径为 minDistance 的"禁区",新的旗不能插在别人的禁区里。

下面的 Mermaid 图展示了 minDistance 的贪婪过滤过程:

是

否

是

否

候选角点 Ccand
已按强度降序

初始化空集合 C

取下一个候选点 p

∀q∈C: ||p−q|| ≥ dmin?

C ← C ∪ {p}

丢弃 p

还有候选?

输出稀疏角点集合 C

Algorithm MinDistanceFilter
Input:  候选角点集合 C<sub>cand</sub>(已按强度排序), 最小距离 d<sub>min</sub>
Output: 稀疏角点集合 C

C ← ∅

for p in C<sub>cand</sub> do
    too_close ← false
    for q in C do
        if ||p − q|| < d<sub>min</sub> then
            too_close ← true
            break
        end
    end
    if not too_close then
        C ← C ∪ { p }
    end
end

return C
cornerSubPix:亚像素精化

检测到的角点坐标通常是整数像素。但在很多下游任务(如相机标定、三维重建)中,我们需要亚像素级的精度。

OpenCV 的 cornerSubPix() 基于一个关键观察:真实的角点位置,应该是其邻域内梯度向量相交的"最优交点"。算法通过迭代优化,找到一个使局部灰度差异最小的亚像素位置。

Algorithm CornerSubPixRefinement
Input:  图像 I, 初始角点集合 C, 搜索窗口 winSize, 终止条件 criteria
Output: 精化后角点集合 C̃

C̃ ← ∅

for p in C do
    p̃ ← p
    repeat
        // 在 p̃ 周围 winSize 窗口内建立线性方程组
        // 利用梯度正交约束求解偏移量 Δ
        Δ ← SolveGradientOrthogonalSystem(I, p̃, winSize)
        p̃ ← p̃ + Δ
    until ||Δ|| < criteria.epsilon  or  迭代次数 ≥ criteria.maxCount
    C̃ ← C̃ ∪ { p̃ }
end

return C̃

实际使用中的联合调用顺序:

  1. goodFeaturesToTrack 出整数角点
  2. cornerSubPix 精化到亚像素
  3. 将结果喂给 calcOpticalFlowPyrLK 做跟踪

在继续之前,让我们看看另一种完全不同的角点检测哲学——它不再依赖梯度矩阵,而是直接比较像素亮度。


3.1.3 FAST 角点:速度至上的像素比较哲学

3.1.3.1 Bresenham 圆周(半径 3)像素比较与加速决策树

问题驱动:Harris 和 Shi-Tomasi 都需要计算梯度、做高斯平滑、求特征值,计算量不小。如果我们只是想"快点找到看起来像角点的地方",能不能跳过所有浮点运算?

2006 年,Rosten 和 Drummond 提出了 FAST(Features from Accelerated Segment Test)。它的核心思想极其朴素:

如果一个像素是角点,那么它周围应该有一圈连续的像素,要么都比它亮很多,要么都比它暗很多。

Bresenham 圆周

FAST 选取一个半径为 3 的 Bresenham 圆,圆上恰好有 16 个像素(记为 p1 到 p16),像时钟刻度一样环绕中心像素 p。

如果画成图会是什么样子?想象一个 3×3 的格子,中心是候选角点。但 FAST 的"圆"比 3×3 的 8-邻域更大一点——它包含了 16 个点,像一个稍大的甜甜圈扣在中心点上。

下面的 Mermaid 图展示了 FAST 的 Bresenham 圆像素布局:

FAST_Bresenham_Circle

p1

p2

p3

p4

p5

p6

p7

p8

p9

p10

p11

p12

p13

p14

p15

p16

中心像素 p

加速决策树

朴素实现需要对 16 个点逐一比较,但 Rosten 用**决策树(Decision Tree)**做了加速。核心观察是:如果 p1 和 p9(正对相对的点)与中心像素的差值都不超过阈值,那这个点可以直接被判为非角点,无需检查其余 14 个点。

下面的 Mermaid 图展示了 FAST 的加速决策树逻辑:

否

否

否

否

是

是

是

是

是

否

中心像素 p
阈值 t

|I[p1] − I[p]| ≥ t?

|I[p9] − I[p]| ≥ t?

|I[p5] − I[p]| ≥ t?

|I[p13] − I[p]| ≥ t?

快速拒绝: 非角点

进入完整 16 点测试

存在 n 个连续像素
满足亮度条件?

判定为角点

Algorithm FASTSegmentTest
Input:  图像 I, 中心点 p, 阈值 t, 圆周像素 {p<sub>1</sub>..p<sub>16</sub>}
Output: 是否为角点(布尔值)

I<sub>p</sub> ← I[p]

// 快速拒绝:检查 1, 9, 5, 13 四个轴向点
if |I[p<sub>1</sub>]  − I<sub>p</sub>| < t  and  |I[p<sub>9</sub>]  − I<sub>p</sub>| < t  and
   |I[p<sub>5</sub>]  − I<sub>p</sub>| < t  and  |I[p<sub>13</sub>] − I<sub>p</sub>| < t then
    return false          // 四个正方向都温和,不可能是角点
end

// 否则进入完整测试:统计连续满足条件的像素数
 brighter ← { i | I[p<sub>i</sub>] > I<sub>p</sub> + t }
 darker   ← { i | I[p<sub>i</sub>] < I<sub>p</sub> − t }

if 存在长度 ≥ n 的连续弧 ⊆ brighter  then return true end
if 存在长度 ≥ n 的连续弧 ⊆ darker   then return true end

return false

锚定已知:这个决策树加速策略,很像你在训练一个极浅层的决策树分类器——先用最强的几个特征做粗筛,再对难分样本做精细判断。


3.1.3.2 连续像素数阈值 n 与类型(TYPE_9_16 / 5_8)选择

问题驱动:FAST 说"有 n 个连续像素更亮或更暗"就算角点。那 n 取多少?16 个全亮?要求太严;3 个?太松。

经验表明:

  • TYPE_9_16(n = 9):最常用,在 16 个圆周像素中要求 9 个连续满足条件。重复率和稳定性较好。
  • TYPE_7_12(n = 7):更宽松,检测更多角点,但误检率上升。
  • TYPE_5_8(n = 5):最宽松,几乎变成"边缘检测器"。

如果画成图会是什么样子?想象一个 16 等分的钟面,n=9 意味着至少连续 9 个刻度(半圈多一点)必须同时更亮或更暗。这确保了中心点确实处于一个"突变交汇"的位置,而不是某条缓慢过渡的边界上。

下面的 Mermaid 图展示了不同 n 值对应的检测严格程度:

阈值n与检测严格度

TYPE_5_8
n = 5
最宽松
速度快,误检高

TYPE_7_12
n = 7
中等
平衡方案

TYPE_9_16
n = 9
最严格
默认推荐

检测严格度

检测密度

OpenCV 中通过 type 参数控制,默认通常是 TYPE_9_16。

Algorithm FASTTypeSelection
Input:  应用需求(实时性/精度/密度)
Output: 推荐 FAST 类型

if 实时性优先 且 纹理丰富 then
    return TYPE_9_16      // 默认推荐
end
if 需要极高密度特征点 then
    return TYPE_7_12      // 更宽松
end
if 嵌入式平台 且 帧率 > 60fps then
    return TYPE_5_8       // 最快,但需配合强 NMS
end

3.1.3.3 非极大值抑制与方向计算(oFAST)的扩展

问题驱动:FAST 检测到的角点有一个致命弱点——它没有"强度分数",只有 0/1 判断。如果我们想在同一片区域保留最强的 500 个角点,怎么排序?

用 Harris 响应做 NMS 分数

这就是 oFAST(oriented FAST) 的第一步改进:对每个 FAST 角点,计算其局部的 Harris 响应 R,用这个 R 作为角点的"强度分"。然后做非极大值抑制,只保留分数最高的点。

如果画成图会是什么样子?FAST 像是一个粗犷的勘探队,快速标记出所有"可能有矿"的区域;然后 Harris 响应像是一个精密的化验员,给每个区域评级,只保留品位最高的矿点。

下面的 Mermaid 图展示了 oFAST 的增强链路:

FAST 角点检测
0/1 布尔输出

Harris 响应计算
赋予强度分数

按分数排序

非极大值抑制 NMS

高质量角点集合

强度质心计算
m00, m10, m01

方向角 θ = atan2(m01, m10)

带方向的角点
(oFAST 输出)

强度质心(Intensity Centroid)定方向

为了让角点具有旋转不变性,oFAST 还计算了每个角点的主方向。方法叫强度质心法:

  1. 在角点周围取一个图像块
  2. 计算块内像素的零阶矩和一阶矩:
    • m00 = Σ I(x,y)
    • m10 = Σ x·I(x,y)
    • m01 = Σ y·I(x,y)
  3. 质心位置:(xc, yc) = (m10/m00, m01/m00)
  4. 方向角:θ = atan2(m01, m10)
Algorithm oFASTOrientation
Input:  图像 I, FAST 角点集合 C, 块半径 r
Output: 带方向的角点集合 C<sub>o</sub>

C<sub>o</sub> ← ∅

for p in C do
    // 1. 计算矩
    m<sub>00</sub> ← 0;  m<sub>10</sub> ← 0;  m<sub>01</sub> ← 0
    for (x,y) in Patch(p, r) do
        m<sub>00</sub> ← m<sub>00</sub> + I[x,y]
        m<sub>10</sub> ← m<sub>10</sub> + x · I[x,y]
        m<sub>01</sub> ← m<sub>01</sub> + y · I[x,y]
    end

    // 2. 方向
    θ ← atan2(m<sub>01</sub>, m<sub>10</sub>)

    // 3. Harris 分数(用于后续 NMS 排序)
    score ← HarrisResponse(I, p)

    C<sub>o</sub> ← C<sub>o</sub> ∪ { (p, θ, score) }
end

// 4. 按 score 做非极大值抑制
C<sub>o</sub><sup>′</sup> ← NonMaxSuppression(C<sub>o</sub>, score)

return C<sub>o</sub><sup>′</sup>

闭环:oFAST 是 ORB 特征检测器的前半部分。它解决了 FAST"没有方向、没有强度"的短板,同时保留了 FAST 的极致速度。

现在我们已经了解了三种主流角点检测器的内部机制,接下来进入最实用的环节——如何根据你的场景选择最合适的那一个。


3.1.4 角点检测器对比:从论文指标到工程选型

3.1.4.1 重复率(Repeatability)与定位精度评估指标

问题驱动:论文里常说"我们的检测器重复率更高"。这个重复率到底怎么算?

重复率 Repeatability

假设你有一张原图 I 和一张变换后的图 I′(比如旋转了 30°)。分别在两张图上跑同一个检测器,得到角点集合 C 和 C′。通过已知的变换矩阵,可以把 C′ 映射回 I 的坐标系。

重复率的经典定义(Mikolajczyk & Schmid, 2004):

Rep = |C ∩ C<sup>′</sup>| / min(|C|, |C<sup>′</sup>|)

也就是说:在两幅图上都成功检测到的角点数量,除以两幅图中角点数量的较小值。

如果画成图会是什么样子?想象两个重叠的透明胶片,上面各有一些红点。重复率衡量的是"重叠红点"占"较少那张胶片上红点总数"的比例。

下面的 Mermaid 图展示了重复率的计算逻辑:

原图 I

检测角点 C

变换图 I′

检测角点 C′

逆变换到 I 坐标系

计算重叠集合
C ∩ C′

重复率 Rep = |重叠| / min(|C|,|C′|)

定位误差 Localization Error

重复率只关心"有没有检测到",不关心"偏差了多少像素"。定位误差定义为:

Le = (1/N) Σ ||p<sub>i</sub> − p<sub>gt</sub>||<sup>2</sup>

其中 pgt 是最近的真实角点(或重投影后的对应点)。

根据 Zhang et al. (2022) 在 A Benchmark for the Evaluation of Corner Detectors 中的研究,他们还提出了 RGT(Repeatability referenced to Ground Truth),解决了传统重复率可能把"重复出现的误检"也算作正例的缺陷。

RGT = N<sub>rgt</sub> / [ 2 / (1/N<sub>o</sub> + 1/N<sub>t</sub>) ]

其中 Nrgt 是"在两幅图中都被检测到,且都靠近真实角点"的数量。


3.1.4.2 计算复杂度与嵌入式实时性权衡

问题驱动:我们刚才聊了这么多数学,但如果要在树莓派上跑 60fps,该选谁?

让我们做一个复杂度盘点(假设图像尺寸为 W×H):

检测器核心运算典型复杂度每帧 720p 耗时(参考)
HarrisSobel 梯度 + 高斯卷积 + 行列式/迹O(WH) 浮点密集~15-30 ms
Shi-Tomasi同 Harris + 开方求特征值O(WH) 浮点密集~20-40 ms
FAST整数比较 + 决策树O(WH) 整数运算,可提前终止~1-5 ms

下面的 Mermaid 图用流水线比喻展示了三者的运算特征:

FAST流水线

是

否

像素比较
整数运算

快速拒绝?

提前终止
~1ms

完整16点测试

ShiTomasi流水线

Sobel梯度

高斯平滑

开方求λ
浮点开方

排序截断

Harris流水线

Sobel梯度
浮点卷积

高斯平滑
浮点卷积

det/trace
浮点代数

阈值+NMS

如果画成图会是什么样子?想象三条流水线:Harris 和 Shi-Tomasi 是精密机床,每一步都要浮点运算;FAST 是一条高速分拣带,大部分包裹在第一站就被扔掉了。

嵌入式选型原则:

  • 有 NEON/SSE 优化 → FAST 可轻松破百帧
  • 需要亚像素精度 → Harris / Shi-Tomasi + cornerSubPix
  • 同时需要方向和描述子 → oFAST(后续接 rBRIEF 就是 ORB)

3.1.4.3 不同场景(纹理/光照/尺度/旋转)的选型矩阵

问题驱动:假设你面对四个截然不同的任务——无人机实时避障、文档扫描角点定位、全景图拼接、AR 平面跟踪。同一个检测器能通吃吗?

下面这张选型矩阵,是我们把前面的原理压缩成的工程决策表:

场景特征推荐检测器理由
纹理丰富 + 实时性要求高(如无人机)FAST / oFAST整数运算,决策树提前终止,帧率优先
光照变化大 + 需要精度(如工业检测)Shi-Tomasi + cornerSubPix最小特征值准则稳定,亚像素精化满足测量需求
尺度变化大(如全景拼接)Harris 多尺度 / SIFTHarris 可扩展尺度空间;若需旋转+尺度不变,直接上 SIFT/SURF
旋转变化 + 需描述子(如 AR 跟踪)oFAST + rBRIEF (ORB)oFAST 给方向,rBRIEF 给二进制描述子,整体极快
边缘密集但角点稀少(如建筑轮廓)Shi-Tomasi对边缘响应弱,不易把边缘误判为角点
平坦区域多 + 噪声大Harris (k 调大)trace2 惩罚项可抑制噪声引起的伪响应

下面的 Mermaid 图用四象限坐标系展示了选型直觉:

选型四象限

低实时性要求

高实时性要求

低几何精度

高几何精度

FAST / oFAST
↙ 左下角
极快,够用

Shi-Tomasi
↗ 右上角
慢但稳

Harris
↑ 中间偏上
均衡方案

ORB
→ 右中
折中方案

如果画成图会是什么样子?想象一个四象限坐标系,横轴是"实时性要求",纵轴是"几何精度要求"。FAST 躺在左下角(极快、够用),Shi-Tomasi 躺在右上角(慢但稳),Harris 在中间偏上,而 ORB(oFAST + rBRIEF)则是一个试图同时往两个轴靠近的折中方案。


闭环:这在训练/实际使用中意味着什么?

好,我们花了这么长时间,从结构张量讲到 Bresenham 圆,从特征值讲到决策树。现在让我们收束一下:在实际工程中,这些知识意味着什么?

  1. 不要盲调参数:qualityLevel 和 minDistance 不是魔法数字。理解 Shi-Tomasi 的"最短木板原理"后,你会知道 qualityLevel 本质上是"全局最大响应的百分比",而不是绝对阈值——这让它在不同图像间更具迁移性。

  2. NMS 是隐形的杀手:很多初学者抱怨"检测到了一堆扎堆的角点",那是因为忽略了 NMS。记住:角点是局部几何事件,两个相距 2 像素的"角点"在物理上几乎一定是同一个结构。

  3. FAST 不是万能药:它确实快,但在低纹理、强噪声场景下,TYPE_9_16 的严格条件可能导致漏检。此时不妨退回 Harris,或先用高斯滤波降噪。

  4. 亚像素精化是免费的午餐:如果你已经在用 goodFeaturesToTrack,后面跟一句 cornerSubPix 几乎不增加代码复杂度,却能让标定精度提升一个数量级。


延伸阅读

如果你想把本章的"点"连成"线",再扩展成"面",建议按以下顺序深入:

  1. 原始论文:

    • Harris & Stephens (1988). A Combined Corner and Edge Detector. (Alvey Vision Conference) —— 结构张量的开山之作。
    • Shi & Tomasi (1994). Good Features to Track. (CVPR) —— 跟踪视角下的角点优选。
    • Rosten & Drummond (2006). Machine Learning for High-Speed Corner Detection. (ECCV) —— FAST 与决策树加速。
    • Rublee et al. (2011). ORB: An Efficient Alternative to SIFT or SURF. (ICCV) —— oFAST + rBRIEF 的完整实现。
  2. 评估基准:

    • Mikolajczyk et al. (2005). A Comparison of Affine Region Detectors. (IJCV) —— 重复率与匹配率的经典定义。
    • Zhang et al. (2022). A Benchmark for the Evaluation of Corner Detectors. (Appl. Sci.) —— 带 Ground Truth 的 Urban-Corner 数据集与 RGT 指标。
  3. OpenCV 官方文档:

    • cv::cornerHarris, cv::goodFeaturesToTrack, cv::cornerSubPix, cv::FAST —— 注意阅读参数背后的数学说明页。
  4. 下一步(第4章预告):
    当我们有了"点",就需要"描述"它。第4章将讲解 SIFT、SURF、ORB、BRISK 等描述子,以及它们如何在特征空间中找到"失散多年的兄弟"。


本章导航回顾:

  • 3.1.1 我们从"局部灰度变化"出发,用结构张量 M 和响应函数 R 建立了 Harris 角点的几何直觉。
  • 3.1.2 通过最小特征值准则,Shi-Tomasi 让角点筛选更稳定,并用 goodFeaturesToTrack 实现了工程化的数量与质量控制。
  • 3.1.3 FAST 用像素比较和决策树跳过了所有浮点运算,oFAST 则补上了方向和强度分,为 ORB 铺好了路。
  • 3.1.4 最后我们把论文指标翻译成选型矩阵,让你在面对无人机、工业相机、手机 AR 时,能自信地说"这个场景,我选它"。

我们下一章见。


本文遵循 CC 4.0 BY-SA 版权协议。架构图与伪代码均为原创整理,引用论文已标注。

OpenCV中的几种角点检测方法 1.Harris角点检测 import numpy as np import cv2 as cv import matplotlib.pyplot as plt plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正确显示中文 # Harris角点检测 ''' Harris角点检测的思想是通过图像的局部小窗口观察图像,角点的特征是窗口沿任意方向移动都会导致 图像灰度的明显变化 将上述思想转化为数学表达式,即将局部窗口向各个方向移动(u,v)并计算所有灰度 阅读详情

相关推荐

OpenCV——角点检测 (Corner Detection)

角点 角点通常被定义为两条边的交点,或者说,角点的局部邻域应该具有两个不同区域的不同方向的边界。角点检测(CornerDetection)是计算机视觉系统中获取图像特征的一种方法,广泛应用于运动检测、图像匹配、视频跟踪、三维重建和目标识别等,也可称为特征点检测。 角点检测算法的基本思想 使用一个固定窗口在图像上进行任意方向上的滑动,比较滑动前与滑动后两种情况,窗口中的像素灰度变化程度,如果存在任意方向上的滑动,都有着较大灰度变化,那么我们可以认为该窗口中存在...

DDsoup 24小时不打烊芜湖! 9998

【OpenCV入门教程之十六】OpenCV角点检测之Harris角点检测

本篇文章中,我们一起探讨了OpenCV中Harris角点检测相关的知识点,学习了OpenCV中实现Harris角点检测的cornerHarris函数的使用方法。此博文一共有两个配套的麻雀虽小但五脏俱全的示例程序,其经过浅墨详细注释过的代码都在文中贴出,且文章最后提供了综合示例程序的下载。 依然是先看看程序运行截图: 一、引言:关于兴趣点(interest points) 在图像处理和与计算机视觉领域,兴趣点(interest points),或称作关键点(keypoints)、特征

【浅墨的游戏编程Blog】毛星云(浅墨)的专栏 8万+

基于OpenCv的图像Harris角点检测

角点检测(corner detection)是计算机视觉系统中获得图像特征的一种方法,由于角点检测的实时性和稳定性,所以角点检测广泛应用于运动检测、图像匹配、视频跟踪、三维建模和目标识别等领域。角点作为一种特征点,角点检测也被称为特征点检测。

需要远程指导仿真实验、代码有问题的,请后台私信或者关注公众号 1568

OpenCV 之 角点检测

角点 (corners) 的定义有两个版本:两条边缘的交点,或者,邻域内具有两个主方向的特征点 从人眼来看,角点是图像亮度发生剧烈变化的点 或边缘曲线上曲率为极大值的点。例如,下图 E 和 F 便是典型的角点 1 检测思路 在图像中定义一个局部小窗口,然后沿各个方向移动这个窗口,则会出现 a) b) c) 三种情况,分别对应平坦区、边缘和角点 a) 窗口内的图像强度,在窗口向各个方向移动时,都没有发生变化,则窗口内都是 “平坦区”,不存在角...

fengweichangzi的博客 6486

【opencv】棋盘格角点检测

为了建立相机的成像几何模型以及矫正透镜畸变,需要对相机进行标定以得到其内外参及畸变参数。 使用了棋盘格进行相机标定,在此之前首先要对棋盘格角点进行检测。opencv中封装了一个寻找角点的函数cv::findChessboardCorners()以及绘制棋盘角点函数cv::drawChessboardCorners()。下面对两函数进行总结介绍,并贴出相关代码实现。 1.cv::findChessb...

weixin_43294387的博客 4610

opencv的susan角点检测算法

目前的角点检测算法可归纳为3类:基于灰度图像的角点检测、基于二值图像的角点检测、基于轮廓曲线的角点检测。角点是图像很重要的特征,对图像图形的理解和分析有很重要的作用。对灰度图像、二值图像、边缘轮廓曲线的角点检测算法进行综述,分析了相关的算法,并对各种检测算法给出了评价。 角点检测算法可归纳为3类:基于灰度图像的角点检测、基于二值图像的角点检测、基于 轮廓 曲线的角点检测。基于灰度图像的角点检测又

never give up的博客 1万+

opencv-python 实现角点检测和棋盘角点检测

目录 利用goodFeaturesToTrack()角点检测: 利用findChessboardCorners()检测棋盘板内角点,cornerSubPix()亚像素精细化检测结果: goodFeaturesToTrack()和findChessboardCorners()区别: 利用goodFeaturesToTrack()角点检测: 函数的参数说明: def goodFeaturesToTrack(image: Any【输入图像,是八位的或者32位浮点型,单通道图像,所以有时候用灰度图】.

RayChiu757374816的博客 8769

OpenCV进阶操作:角点检测

在计算机视觉中,角点检测是识别图像中局部区域(角点)的关键技术,这些区域通常是两条或多条边缘的交点,具有丰富的结构信息,常用于图像匹配、跟踪、三维重建等任务。Harris角点检测算法是一种常用的计算机视觉算法,用于检测图像中的角点。该算法通过计算图像中每个像素的局部自相关矩阵,来判断该像素是否为角点。角点检测是计算机视觉中的一种特征检测方法,用于寻找图像中的角点或者具有角点特征的图像区域。角点是指图像中突然改变方向的点,即在其周围的不同方向上都有较大的灰度变化。

m0_65065095的博客 1915

opencv python 角点坐标的提取

https://blog.csdn.net/zhu_hongji/article/details/81235643图像特征描述角点检测原理 ret,labels,stats,centroids=cv2.connectedComponentsWithStats(dst) import cv2 import numpy as np import matplotlib.pyplot as plt img =cv2.imread('E:/python/ha.png') imgray=cv2.cvtColo

youandme520的专栏 6027

【Opencv】基于Opencv和PCV两种方法的Harris 角点检测与匹配

【Opencv】基于Opencv和PCV两种方法的Harris 角点检测与匹配【附代码】理解Harris角点检测代码:Harris角点检测1.【opencv版】Harris角点检测2.【PCV版】Harris角点检测与匹配3.【PCV版】Harris匹配 理解Harris角点检测 明确两个概念: 边界——一面比较平稳变换,一面比较明显 角点——无论是水平还是竖直方向,变化都很明显 角点的一个特性:...

EchoooZhang的博客 2573

计算机视觉(角点检测)- 1 - Harris角点检测

计算机视觉(角点检测)-1.1 Harris角点检测学习前言 学习前言   今天更新一下计算机视觉的东西吧,哈哈哈o( ̄︶ ̄)o   关于角点检测呢,就是检测图像中角点的算法,常见的有四种常见的算法:Moravec角点检测算法、 Harris角点检测算法、Shi-Tomasi 算法、FAST角点检测算法,不过常用的就两种吧——Harris角点检测算法、Shi-Tomasi 算法(反正我基本上就只用到这两种,先着重介绍前面两种,后面再花世界介绍吧)(~ ̄▽ ̄)~ ...

qq_40374812的博客 1万+

【opencv】第10章 角点检测

除了利用Harris进行角点检测之外,我们通常还可以利用Shi-Tomasi方法进行角点检测。Shi-Tomasi算法是Harris算法的改进,此算法最原始的定义是将矩阵M的行列式值与M的迹相减,再将差值同预先给定的阈值进行比较。后来Shi和Tomasi提出改进了方法,若两个特征值中较小的一个大于最小阈值,则会得到强角点。

Antonio915的博客 2002

OpenCV实战(16)——角点检测详解

在计算机视觉中,兴趣点 (interest points) 也称为关键点 (keypoints) 或特征点 (feature points),广泛用于解决对象识别、图像匹配、视觉跟踪、3D 重建等领域的问题。与其将图像作为一个整体进行评估,不如选择可以用于局部分析的点,以获得将该点应用于局部或全局的信息。只要在图像中检测到足够数量的关键点,并且这些点具有可以精确定位的独特且稳定的特征,就能够利用这些点进行图像分析。

盼小辉丶的博客 1万+

【opencv】教程代码 —TrackingMotion 角点检测

角点检测执行角点检测并在可能的角点周围画一个圆对图像中的角点位置进行检测和细化Shi-Tomasi方法检测图像角点1. cornerDetector_Demo.cpp 角点检测/** * @function cornerDetector_Demo.cpp * @brief Demo code for detecting corners using OpenCV built-in functio...

cxyhjl的博客 1214

OpenCV中的Harris角点检测

这篇博客将了解什么是特征,角点,哈里斯角点检测(Harris Corner Detection)的概念。并使用cv2.cornerHarris(),cv2.cornerSubPix()实现哈里斯角点检测;

qq_40985985的博客 2843

OpenCV中实现Harris角点检测的综合教程

哈里斯角点检测算法的基本原理是通过计算图像中每个像素点的邻域窗口的自相关函数,来判断该点是否为角点。如果窗口在多个方向上移动都导致自相关函数出现显著变化,则该点被认为是角点。哈里斯角点检测算法是计算机视觉领域的一个经典算法,广泛应用于图像处理、模式识别等领域。然而,OpenCV等现成库提供的函数实现虽然方便,但有时无法满足特定场景下的需求,此时就需要我们自定义实现哈里斯角点检测算法。接下来将详细介绍自定义实现哈里斯角点检测的理论基础、关键代码以及与函数的对比分析。

weixin_42571280的博客 1177

OpenCV 中的角点检测方法详解

在多个方向上灰度变化明显(与平坦区域和边缘不同)。对旋转、光照变化具有一定鲁棒性。Harris角点检测是一种经典的特征点检测方法,适用于角点明显的场景。OpenCV实现简单,但需调整参数(blockSizek等)以获得最佳效果。改进方法:亚像素优化、Shi-Tomasi算法可提高精度。应用广泛:相机标定、SLAM、图像匹配等。希望这篇博客对你有所帮助!如果有问题,欢迎留言讨论。🚀。

zdx2585503940的博客 1179

GEE——土地利用分类之监督分类

利用GEE做监督分类,以武汉市为例。 训练器我们选择随机森林;数据选择Landsat-8;训练样本使用的是GEE提供的一种,它把地表分为三类:水体、植被和城市用地。 选择训练样本 用要素集来标记训练样本。每个要素都有一个landcover 的属性,0表示城市用地,1表示植被,2表示水体。 对影像进行分类 其中一部分进行分类器的训练,还有一部分留下来做精度验证。 输出影像及混淆矩阵 print(LABEL_DATA); var wuhan = ee.FeatureCollection('users/

qq_41600680的博客 1万+

OpenCV——角点检测原理分析(Harris,Shi-Tomasi、亚像素级角点检测)

一、角点(corner)        角点通常被定义为两条边的交点,或者说,角点的局部邻域应该具有两个不同区域的不同方向的边界。角点检测(Corner Detection)是计算机视觉系统中获取图像特征的一种方法,广泛应用于运动检测、图像匹配、视频跟踪、三维重建和目标识别等,也可称为特征点检测。 1、角点的类型              2、角点检测算法的基本思想:          ...

zhu_hongji的博客 4万+

CentOS7 编译升级GCC至9.3.0

1)下载GCC9.2.0源码并解压 从GCC官方FTP下载地址可以看到GCC最新版本为9.3.0。由于官网下载速度慢,实际上用清华大学的镜像站进行下载,代码如下: wget -c /opt/tmp/ https://mirrors.tuna.tsinghua.edu.cn/gnu/gcc/gcc-9.3.0/gcc-9.3.0.tar.gz #考虑到安装失败的可能性,创建一个临时文件夹来安装GCC...

haha123486的博客 1万+

数字后端:版图基础seal ring

seal ring结构是为了防止划片或封装对芯片造成破坏,从而在芯片与划片道(scribe line)之间添加的一圈保护环

m0_61544122的博客 1万+
上一篇: 【opencv高级教程】2.7 阈值分割与基础分割
下一篇: 12 【相控阵】近场扫描
VectorShift
博客等级 码龄1年 1840粉丝 1109原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

VectorShift

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值