16、基于非学习的红外目标检测与跟踪方法

php55

于 2025-11-15 15:45:42 发布

阅读量29

点赞数

CC 4.0 BY-SA版权

分类专栏：夜视智能：从感知到认知文章标签：红外小目标检测稀疏误差结构差异

本文链接：https://blog.youkuaiyun.com/php55/article/details/154968228

夜视智能：从感知到认知专栏收录该内容

19 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

基于非学习的红外目标检测与跟踪方法

在红外图像的处理中，目标检测与跟踪是重要的研究领域。本文将介绍几种有效的方法，包括基于稀疏误差和结构差异的红外小目标检测方法，以及基于LARK特征的自适应均值漂移跟踪算法。

1. 基于稀疏误差和结构差异的红外小目标检测

1.1 目标检测框架

该方法主要基于稀疏误差和结构差异来检测红外小目标。
- 稀疏误差 ：
- 目标和背景区域存在外观差异，通常将图像边界区域视为背景区域。
- 从图像边界构建背景模板集 $D = [d_1, d_2, d_3, \ldots, d_M]$，其中 $M$ 是图像边界段的数量。
- 输入红外图像，使用SLIC将其分割成多个均匀区域，每个区域用 $p = (x, y, l_u, g_x, g_y)$ 描述，其中 $l_u$ 是亮度信息，$g_x$ 和 $g_y$ 是梯度信息，$x$ 和 $y$ 是像素坐标。
- 整个红外图像表示为 $P = {p_1, p_2, \ldots, p_N}$，其中 $N$ 是区域数量。
- 计算对象和背景区域之间的稀疏误差，通过以下公式对图像段进行编码：
[a_i = \arg \min_{a_i} |p_i - D a_i| 2^2 + \lambda |\text{diag}(w_i) a_i|_1]
其中 $\lambda$ 是正则化参数，$w_i$ 是段 $d_i$ 的权重，计算方式为：
[w_i = \frac{1}{H(d_i)} \sum {j \in H(d_i)} \exp\left(\frac{|d_j - d_i|_2^2}{2\sigma^2}\right)]
$H(d_i)$ 表示 $d_i$ 的邻居数量。
- 计算每个段的调节重建误差：
[E_i = |p_i - D a_i|_2^2]
重建误差大的区域为目标区域。

结构差异 ：
- 对象和背景区域通常具有不同的结构信息，通过区域协方差来利用这种差异。
- 从输入图像 $I$ 中提取特征图像 $F = \Phi(I)$，其中 $\Phi$ 是映射函数，提取每个像素的 $k$ 维特征向量。
- 对于区域 $q_i$，计算其 $k \times k$ 协方差矩阵 $C_{q_u}$：
  [C_{q_u} = \frac{1}{n - 1} \sum_{i = 1}^{n} (q_u - \mu)(q_u - \mu)^T]
  这里 $q_u$ 是区域内的 $k$ 维特征向量，$\mu$ 是这些特征向量的均值。在本文中，使用 $k = 5$ 个特征（如 $x, y, l_u, g_x, g_y$）构建区域特征。
- 基于两个不同的协方差计算结构差异图：
  [G(q_u, q_v) = \psi(C_{q_u}, C_{q_v})]
  其中 $\psi(C_{q_u}, C_{q_v})$ 用于计算两个协方差之间的相似度。
误差和结构融合 ：
将稀疏误差图和结构差异图通过线性组合融合生成最终图：
[S = \sum_{t = 1}^{T} \beta_t S_t]
其中 ${\beta_t} = \arg\min \left|\left|S - \sum_{t} \beta_t S_t\right|\right| F^2$，$t$ 表示图的数量，$S_T$ 表示误差图或结构差异图。
最后，使用阈值方法提取最终感兴趣目标：
[S’(x, y) =
\begin{cases}
1, & S(x, y) \geq \gamma S {max} \
0, & \text{others}
\end{cases}]
其中 $S_{max}$ 是 $S$ 的最大值，$\gamma = 0.6$ 是阈值。

1.2 实验结果

选择经验值 $\sigma = 3$，$N = 400$，$T = 2$ 和 $\lambda = 0.01$，输入图像为 $480 \times 640$ 像素。将该方法与其他现有方法（如顶帽（TH）滤波器和压缩域（CD）方法）进行比较，使用信号杂波比增益（SCRG）和背景抑制因子（BSF）来评估这些方法。
- SCRG ：
[SCRG = 20 \times \log_{10} \left(\frac{(U/C) {out}}{(U/C) {in}}\right)]
- BSF ：
[BSF = 20 \times \log_{10} \left(\frac{C_{in}}{C_{out}}\right)]
其中 $U$ 是红外图像中目标的平均强度，$C$ 是杂波的标准差。

实验选择了四种不同场景，结果表明，该方法能够准确检测红外小目标，因为它利用了稀疏误差和结构差异，能更好地表示红外目标的细节。而TH方法使用简单的顶帽滤波器，会产生一些误检测结果；CD方法有所改进，但仍有一些红外小目标无法很好地检测，增加了目标检测的漏检率。具体的定量结果如下表所示：

场景	顶帽（TH）	压缩域（CD）	本文方法
A1	15.22/22.47	20.33/29.42	25.41/35.45
A2	13.24/20.11	18.24/26.40	22.58/30.49
A3	12.41/18.45	21.24/24.22	25.37/28.14
A4	6.24/15.33	15.22/20.41	19.69/25.38

从表中可以明显看出，本文方法在各项评估指标上都取得了最高的分数，具有更好的检测性能。

2. 基于LARK特征的自适应均值漂移跟踪算法

2.1 基于全局LARK特征匹配和CAMSHIFT的跟踪模型

该模型主要利用颜色信息和LARK结构计算处理图像中目标的概率分布，然后使用均值漂移算法在概率图中获取目标中心及其大小。为缩短匹配时间，每帧跟踪处理仅提取上一帧目标区域的两倍。

LARK特征匹配原理 ：
- 对LARK的局部核值进行归一化：
  [k_l^i = \frac{K_l^i}{\sum_{l = 1}^{P^2} K_l^i}, \quad i \in [1, N], l \in [1, P^2]]
  其中 $K_l^i$ 是局部核，$N$ 是图像中像素的总数，$P^2$ 是局部窗口中的像素数。
- 将归一化后的局部核按列排序为权重向量：
  [w_i = \begin{bmatrix} k_1^i, k_2^i, \ldots, k_{P^2}^i \end{bmatrix}^T]
- 使用 $P^2$ 大小的窗口遍历整个图像得到权重矩阵：
  [W = [w_1, w_2, \ldots, w_N] \in R^{P^2 \times N}]
- 获得模板图像和处理图像的LARK权重矩阵 $W_Q$ 和 $W_T$ 后，使用PCA方法减少冗余，保留前 $d$ 个主成分的特征构成矩阵 $A_Q \in R^{P^2 \times d}$。
- 计算特征矩阵：
  [F_Q = \begin{bmatrix} f_1^Q, f_2^Q, \ldots, f_N^Q \end{bmatrix} = A_Q^T W_Q]
  [F_T = {f_1^T, f_2^T, \ldots, f_M^T} = A_Q^T W_T]
  其中 $N$ 和 $M$ 分别是模板和处理图像中的像素总数。
- 进行LARK特征匹配，计算移动窗口的 $F_{T_i}$ 与 $F_Q$ 的余弦相似度：
  [\rho(f_Q, f_{T_i}) = \frac{f_Q f_{T_i}}{|f_Q| |f_{T_i}|} = \cos \theta \in [-1, 1]]
- 构建相似度图：
  [f(\rho) = \frac{\rho^2}{1 - \rho^2}]
跟踪算法框架 ：
该跟踪模型的伪代码包含四个部分：目标选择、LARK特征提取、目标概率图计算和目标位置搜索。具体步骤如下：
1. 手动选择跟踪目标作为模板，计算其 $W_Q$。
2. 提取两倍目标区域作为处理图像，计算其 $W_T$。
3. 对 $W_Q$ 和 $W_T$ 应用PCA，获得特征矩阵 $F_Q$ 和 $F_T$。
4. 将RGB转换为HSV，使用H分量获取原始目标概率图。
5. 应用LARK特征匹配获得结构相似度图并归一化。
6. 获取加权融合目标概率图。
7. 应用自适应均值漂移算法定位目标位置。
8. 循环步骤2 - 4实现跟踪。

2.2 基于局部LARK特征统计匹配的目标跟踪算法

当跟踪非紧凑目标（如行人）时，目标的变形随机、复杂且多样，全局匹配效果不佳。因此，将全局匹配转换为局部匹配，并统计相似局部结构的数量。

跟踪过程 ：
- 由于红外图像没有颜色信息，首先根据灰度值获取原始目标概率图。
- 使用余弦相似度减少特征矩阵的冗余，去除相似的特征向量。
- 计算模板图像和处理图像特征矩阵之间的余弦相似度矩阵 $\rho_L$：
  [\rho_L = \rho(F_T, F’ Q) =
  \begin{bmatrix}
  \rho {11} & \cdots & \rho_{1n} \
  \vdots & \ddots & \vdots \
  \rho_{M1} & \cdots & \rho_{Mn}
  \end{bmatrix}]
- 提取矩阵 $\rho_L$ 每行的最大值及其在 $F’_Q$ 中的列位置，保存到索引矩阵 $index_L$ 中。
- 设置相似度阈值 $t_2$，去除相似度较低的局部结构。
- 选择固定大小的局部窗口遍历索引矩阵，统计窗口内非重复索引值的数量，构建索引值数量矩阵 $R_n$。
- 对 $R_n$ 进行归一化得到统计匹配图，与原始目标概率图加权得到目标概率图。
- 使用自适应均值漂移算法在目标概率图中获取目标位置。

3. 实验与分析

3.1 可见光视频中的目标跟踪实验

汽车跟踪实验 ：
汽车轨迹开始转弯然后直线行驶。当目标颜色和背景差异较大时，GLMT和CAMSHIFT算法能有效区分目标和背景；当颜色差异较小时，CAMSHIFT算法会产生漂移甚至丢失目标，而GLMT算法结合了颜色信息和结构特征，跟踪效果良好。
人脸跟踪实验 ：
选择AVSS2007的人脸视频，人脸有快速大小变化、轻微旋转和遮挡，背景颜色与人脸相似。实验结果表明，GLMT算法的中心位置误差（CLE）低于CT、STC和CAMSHIFT算法，其平均CLE最低，DP（中心位置误差小于阈值的帧数比例）和OP（边界框重叠超过阈值的帧数比例）值最高，能够更好地跟踪刚性或紧凑目标。具体数据如下表所示：

算法	平均CLE（像素）	DP (%)	OP (%)
GLMT	11.6	87.5	71.9
CT	94.5	4.69	4.06
STC	151	9.69	6.88
CAMSHIFT	27.2	55	38.8

3.2 红外非紧凑目标跟踪实验

选择VOT2016的行人红外图像序列，行人姿势变化显著。实验结果显示，CAMSHIFT算法仅使用灰度信息，跟踪结果产生漂移；GLMT和LLSMT都使用LARK特征，能准确获取目标区域。LLSMT算法将整体结构分解为局部结构进行统计匹配，CLE值最低，DP和OP值高于GLMT和CAMSHIFT，能够很好地跟踪各种姿势的非紧凑红外目标。

综上所述，基于稀疏误差和结构差异的红外小目标检测方法以及基于LARK特征的自适应均值漂移跟踪算法在不同场景下都表现出了良好的性能，为红外图像的目标检测和跟踪提供了有效的解决方案。

下面是mermaid格式的流程图，展示基于全局LARK特征匹配的跟踪模型流程：

graph TD;
    A[手动选择跟踪目标作为模板] --> B[计算W_Q];
    B --> C[提取两倍目标区域作为处理图像];
    C --> D[计算W_T];
    D --> E[对W_Q和W_T应用PCA];
    E --> F[获得特征矩阵F_Q和F_T];
    F --> G[将RGB转换为HSV];
    G --> H[使用H分量获取原始目标概率图];
    F --> I[应用LARK特征匹配];
    I --> J[获得结构相似度图并归一化];
    H --> K[与结构相似度图加权融合];
    J --> K;
    K --> L[获得加权融合目标概率图];
    L --> M[应用自适应均值漂移算法定位目标位置];
    M --> N[循环步骤C - M实现跟踪];

通过以上介绍，我们可以看到这些方法在红外图像目标检测和跟踪中的有效性和实用性。不同的方法适用于不同类型的目标，在实际应用中可以根据具体情况选择合适的方法。

基于非学习的红外目标检测与跟踪方法（续）

4. 方法总结与优势分析

上述介绍的几种方法在红外目标检测与跟踪领域展现出了显著的优势。

基于稀疏误差和结构差异的红外小目标检测方法，通过巧妙地利用目标与背景在外观和结构上的差异，实现了对红外小目标的准确检测。在稀疏误差方面，从图像边界构建背景模板集，通过计算稀疏误差和调节重建误差，能够有效区分目标和背景区域。结构差异则通过区域协方差来体现，这种方式能更好地捕捉目标的局部结构信息。最后将两者融合，进一步提高了检测的准确性。与传统的顶帽滤波器和压缩域方法相比，该方法在信号杂波比增益和背景抑制因子等评估指标上表现更优，能够在复杂场景下准确检测到红外小目标。

基于LARK特征的自适应均值漂移跟踪算法，根据目标的不同特性，分为全局LARK特征匹配和局部LARK特征统计匹配两种方式。全局LARK特征匹配适用于刚性或紧凑目标的跟踪，它结合了颜色信息和LARK结构，通过一系列的计算和处理，能够在概率图中准确获取目标的中心和大小。而局部LARK特征统计匹配则针对非紧凑目标，将全局匹配转换为局部匹配，统计相似局部结构的数量，有效解决了非紧凑目标变形带来的跟踪难题。

5. 实际应用与场景适配

这些方法在实际应用中具有广泛的场景适配性。

在军事领域，红外目标检测与跟踪技术可用于导弹制导、无人机侦察等。例如，在无人机侦察中，使用基于稀疏误差和结构差异的红外小目标检测方法，能够在复杂的自然背景下准确检测到敌方的小型目标，如隐藏的车辆、人员等。基于LARK特征的跟踪算法则可以实时跟踪这些目标，为后续的军事行动提供准确的情报支持。

在安防监控领域，对于夜间或低光照环境下的监控场景，红外图像的目标检测与跟踪至关重要。使用上述方法可以有效检测和跟踪可疑人员或物体，提高监控系统的安全性和可靠性。例如，在小区监控中，当有陌生人进入时，系统能够及时检测到并进行跟踪，为安保人员提供预警。

在工业检测领域，对于一些高温设备或特殊材料的检测，红外成像技术可以发挥重要作用。通过这些方法，可以检测设备表面的温度异常区域或缺陷，及时发现潜在的安全隐患。

6. 未来发展趋势与展望

随着科技的不断发展，红外目标检测与跟踪技术也将不断进步。

一方面，算法的性能将不断优化。未来可能会结合深度学习等先进技术，进一步提高检测和跟踪的准确性和实时性。例如，利用深度学习模型对大量的红外图像数据进行训练，学习目标的特征和运动规律，从而实现更智能的目标检测与跟踪。

另一方面，硬件设备的性能也将不断提升。更高分辨率、更灵敏的红外传感器将为算法提供更丰富的图像信息，从而进一步提高检测和跟踪的效果。同时，硬件的小型化和低功耗化也将使得这些技术在更多的场景中得到应用。

此外，多传感器融合技术也将成为未来的发展方向。将红外传感器与可见光传感器、雷达等其他传感器相结合，能够获取更全面的目标信息，提高目标检测与跟踪的可靠性和准确性。

7. 操作步骤回顾与总结

为了方便读者在实际应用中使用这些方法，下面对关键的操作步骤进行回顾总结。

7.1 基于稀疏误差和结构差异的红外小目标检测操作步骤

输入图像预处理 ：将给定的红外图像作为输入，使用SLIC将其分割成多个均匀区域，每个区域用 $p = (x, y, l_u, g_x, g_y)$ 描述。
背景模板构建 ：从图像边界提取边界段，构建背景模板集 $D = [d_1, d_2, d_3, \ldots, d_M]$。
稀疏误差计算 ：计算对象和背景区域之间的稀疏误差，通过公式 $a_i = \arg \min_{a_i} |p_i - D a_i| 2^2 + \lambda |\text{diag}(w_i) a_i|_1$ 对图像段进行编码，其中 $w_i$ 通过 $w_i = \frac{1}{H(d_i)} \sum {j \in H(d_i)} \exp\left(\frac{|d_j - d_i|_2^2}{2\sigma^2}\right)$ 计算。然后计算调节重建误差 $E_i = |p_i - D a_i|_2^2$。
结构差异计算 ：从输入图像中提取特征图像 $F = \Phi(I)$，计算区域的协方差矩阵 $C_{q_u} = \frac{1}{n - 1} \sum_{i = 1}^{n} (q_u - \mu)(q_u - \mu)^T$，并基于两个不同的协方差计算结构差异图 $G(q_u, q_v) = \psi(C_{q_u}, C_{q_v})$。
误差和结构融合 ：将稀疏误差图和结构差异图通过线性组合 $S = \sum_{t = 1}^{T} \beta_t S_t$ 融合生成最终图，其中 ${\beta_t} = \arg\min \left|\left|S - \sum_{t} \beta_t S_t\right|\right| F^2$。最后使用阈值方法 $S’(x, y) =
\begin{cases}
1, & S(x, y) \geq \gamma S {max} \
0, & \text{others}
\end{cases}$ 提取最终感兴趣目标。

7.2 基于全局LARK特征匹配的跟踪模型操作步骤

目标选择与特征计算 ：手动选择跟踪目标作为模板，计算其 $W_Q$。提取两倍目标区域作为处理图像，计算其 $W_T$。
PCA处理 ：对 $W_Q$ 和 $W_T$ 应用PCA，获得特征矩阵 $F_Q$ 和 $F_T$。
概率图获取 ：将RGB转换为HSV，使用H分量获取原始目标概率图。应用LARK特征匹配获得结构相似度图并归一化，将其与原始目标概率图加权融合，获得加权融合目标概率图。
目标定位与跟踪 ：应用自适应均值漂移算法定位目标位置，循环上述步骤实现跟踪。

7.3 基于局部LARK特征统计匹配的目标跟踪算法操作步骤

原始概率图获取 ：由于红外图像没有颜色信息，根据灰度值获取原始目标概率图。
特征矩阵处理 ：使用余弦相似度减少特征矩阵的冗余，去除相似的特征向量。
相似度矩阵计算 ：计算模板图像和处理图像特征矩阵之间的余弦相似度矩阵 $\rho_L$，提取每行的最大值及其在 $F’_Q$ 中的列位置，保存到索引矩阵 $index_L$ 中。
阈值处理与统计 ：设置相似度阈值 $t_2$，去除相似度较低的局部结构。选择固定大小的局部窗口遍历索引矩阵，统计窗口内非重复索引值的数量，构建索引值数量矩阵 $R_n$。
目标概率图与定位 ：对 $R_n$ 进行归一化得到统计匹配图，与原始目标概率图加权得到目标概率图。使用自适应均值漂移算法在目标概率图中获取目标位置。

下面是mermaid格式的流程图，展示基于局部LARK特征统计匹配的目标跟踪算法流程：

graph TD;
    A[根据灰度值获取原始目标概率图] --> B[使用余弦相似度减少特征矩阵冗余];
    B --> C[计算余弦相似度矩阵ρ_L];
    C --> D[提取每行最大值及其列位置到index_L];
    D --> E[设置相似度阈值t_2去除低相似度结构];
    E --> F[选择局部窗口遍历索引矩阵];
    F --> G[统计窗口内非重复索引值数量构建R_n];
    G --> H[对R_n归一化得到统计匹配图];
    H --> I[与原始目标概率图加权得到目标概率图];
    I --> J[使用自适应均值漂移算法获取目标位置];

8. 总结

本文介绍的基于稀疏误差和结构差异的红外小目标检测方法以及基于LARK特征的自适应均值漂移跟踪算法，为红外图像的目标检测和跟踪提供了有效的解决方案。这些方法在不同场景下都表现出了良好的性能，并且具有广泛的实际应用前景。通过对这些方法的深入理解和掌握，读者可以在实际应用中根据具体情况选择合适的方法，实现对红外目标的准确检测和跟踪。同时，随着技术的不断发展，这些方法也将不断优化和完善，为相关领域的发展提供更有力的支持。