12、任务驱动的显著性模型详解

任务驱动的显著性模型详解

在视觉处理领域，任务驱动的显著性模型是一个重要的研究方向，它结合了自下而上的刺激驱动和自上而下的任务相关因素，用于计算视觉显著性。下面将详细介绍该模型的相关内容。

1. 自下而上组件

自下而上组件主要模拟人类视觉系统的低级过程，以提供刺激驱动的显著性。其核心步骤包括选择预注意特征、提取场景表示以及计算自下而上的显著性。

1.1 预注意特征

视频序列可由多个视觉特征通道的信息流组合表示。根据相关研究，我们选择了六种预注意特征，其中三种用于提取空间表示，另外三种用于提取时间表示。
- 空间预注意特征 ：包括亮度（$I_k$）、红绿对立（$RG_k$）和蓝黄对立（$BY_k$）。计算公式如下：
- $I_k = \frac{r_k + g_k + b_k}{3}$
- $RG_k = \frac{r_k - g_k}{\max(r_k, g_k, b_k)}$
- $BY_k = \frac{b_k - \min (r_k, g_k)}{\max(r_k, g_k, b_k)}$
其中，$r_k$、$g_k$、$b_k$分别是视频序列中第$k$个场景的红、绿、蓝通道。
- 时间预注意特征 ：包括闪烁（$F_k$）、运动方向（$\Theta_k$）和运动强度（$\Upsilon_k$）。计算前需通过快速块运动计算估计每个像素的运动向量，设$u_k$和$v_k$分别是水平和垂直方向的位移图，则计算公式为：
- $F_k = I_k - I_{k - 1}$
- $\Theta_k = \tan^{-