41、时空显著性框架的实现与性能评估

时空显著性框架的实现与性能评估

1. 框架实现

1.1 特征检测

基于特征值准则，Shi和Tomasi算法的第一步是为图像中的每个像素找到空间梯度矩阵G的最小特征值。每个像素都对应一个特征值，特征值高于预定义阈值的像素会被保留，其余的则被舍弃。在各自3×3邻域内特征值为局部最大值的像素会被选为特征。最后，算法会移除那些与特征值更高的特征距离过近的特征，以确保所有特征之间有足够的距离。

1.2 特征跟踪器

特征跟踪器的目标是定位帧与帧之间的对应特征。一个好的特征跟踪器需要具备准确性和鲁棒性。为了跟踪特征，会考虑并分析特征点周围区域（即积分窗口）内的所有像素。为了避免平滑掉细节以实现高精度，通常首选较小的积分窗口。然而，处理大运动时的鲁棒性需要较大的积分窗口。金字塔图像结构的数据表示有助于在鲁棒性和准确性之间进行权衡。

金字塔实现的迭代Lucas - Kanade光流算法被用作特征跟踪器。特征像素在金字塔的最低分辨率级别Lm中被跟踪，结果会传播到下一个更精细的级别，直到达到原始分辨率L0。

在每个级别L，图像IL中特征uL的对应坐标可以通过以下公式计算：
[u_L = [u_{Lx},u_{Ly}] = \frac{u_{L0}}{2^L}]
其中，uL0表示特征u在原始分辨率图像IL0中的坐标，该图像位于金字塔的第0级。

相对于uL的积分窗口，空间梯度矩阵G通过以下公式计算：
[G_{u_L} = \sum_{x = u_{Lx}-w_x}^{u_{Lx}+w_x} \sum_{y = u_{Ly}-w_y}^{u_{Ly}+w_y}
\begin{bma