8、视觉显著性计算：从时空域到目标级别的探索

视觉显著性计算：从时空域到目标级别的探索

在视觉处理领域，视觉显著性计算是一个关键的研究方向，它旨在识别图像或视频中最能吸引人类注意力的部分。本文将深入探讨时空域中的显著性模型以及目标级别的视觉显著性计算方法。

1. 时空域中的显著性模型

在处理具有动态背景的视频时，检测不规则运动是一种可行的解决方案。以下是几种不同的方法：
- 基于点对应和单应性矩阵的方法 ：Zhai和Shah（2006）提出通过相邻视频帧之间的点对应来检测不规则运动。具体步骤如下：
1. 从每个视频帧中定位SIFT（尺度不变特征变换）点。
2. 对帧间点对应关系应用RANSAC算法，以估计多个单应性矩阵，这些矩阵用于建模场景中不同的运动段。
3. 结合从帧间单应性矩阵得到的时间显著性和通过颜色直方图估计的空间显著性，得到时空显著性。
- 基于光流的方法 ：Li和Lee（2007）从光流中估计运动的不规则性。运动不规则的区域将被赋予高时间显著性。他们还从预注意特征（如颜色和方向）中检测空间显著性，并对中心偏差效应进行建模以计算空间显著性，最后将空间和时间显著性图组合生成时空显著性图。
- 受生物启发的方法 ：Marat等人（2009）提出了一种受生物启发的时空显著性模型。他们从视频流中提取对应于视网膜两个主要输出（即小细胞和大细胞）的信号，然后将这两个信号进行变换并融合成一个时空显著性图。

除了上述基于不规则运动的方法，还可以将经典的显著性原理从空间域扩展到时空域：
- 扩展中心 - 环绕对比框架