论文阅读（二）：3D visual saliency detection model with generated disparity map

（2）3D visual saliency detection model with generated disparity map

摘要

由于人单目视觉与双目视觉的区别显著，立体视觉注意力成为三维应用研究中的一个新兴问题。现有的一些三维视觉显著性检测模型利用groundtruth视差映射来计算深度特征的center-surround difference，计算成本高。在一些3D应用程序中，groundtruth视差图可能并不总是可用的。本文提出了一种不使用groundtruth视差图，并且高效、简单的三维视觉显著性检测模型。该模型基于一种符合人类视觉系统视觉感知过程的带通滤波方法。首先从左视图中提取单眼亮度、颜色和纹理特征；从两个视差图中提取双目深度特征。然后，对所有feature map进行过滤，生成三种类型的显著性映射，即二维显著性映射、纹理显著性映射和深度显著性映射。随后，通过线性池策略将三个显著性映射融合为一个三维显著性映射。最后，利用中心偏置因子增强最终的三维视觉显著性地图。

1. 本文方法:  

从左侧视图的图像中提取四个低级特征映射(例如亮度、颜色、纹理)，并从左侧和右侧视图的图像中提取一个深度特征映射。然后使用log-Gabor过滤器进行过滤，生成2D、纹理和深度显著性映射。随后，利用融合策略将三个显著性图组合成一个显著性图。最后，中心偏置因子增强了显著性图。

不采用RGB图像，采用Lab色彩空间：

亮度通道映射{fL *}和双色通道(RG和BY)。

基于经典光流目标函数的光流估计算法。

左视图图像IL的梯度幅值{fG}表示为：

和Sobel算子类似。

深度特征可以通过视差图直接得到:

视差和深度相反。

Feature maps filtering：

采用对数Gabor滤波器，。

在三维显著性检测模型中，纹理和深度显著性分别表示为纹理和深度特征分量{fG}和{fD}的函数：

Saliency fusion:

根据线性池策略，最终的显著性映射为:

用最小二乘法来求解权重，

假设显著图可逆，则：。

Saliency map enhancement：

center-bias factor

在研究图像显著性对中心偏差影响较大的基础上，利用各向异性高斯核对中心偏差进行建模：

通过中心偏置Cb(x, y)的增强，最终的3D视觉显著性图被计算为：