Saliency Detection on Light Field

1 :

        Saliency Detection on Light Field

        Nianyi Li, Jinwei Ye, Yu Ji, Haibin Ling and Jingyi Yu.

        In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014

2:

        传统的saliency detection只是利用一张图像的信息来做，今年的ECCV与CVPR都出现利用多幅图像信息，这篇论文就是利用一种特殊像机的成像来增加信息量：Light field.

        利用light field的好处是提供了聚焦度(focusness)与深度信息(depth cues)，虽然有算法通过单张图像获得深度信息，但是精确度肯定不如利用light field来得高，当然，light field也带来了相应的存储、计算代价。

        利用深度信息来提高saliency detection的performance，可以参考以下几篇论文：

(1) Depth Matters: Influence of Depth Cues on Visual Saliency, ECCV 2012

(2) Leveraging stereopsis for saliency analysis, CVPR 2012

3:

算法的流程如下

       

(1) 生成一个focal stack与一个all-focus image.本论文是利用Lytro相机获得照片，生成的是后缀名为.lfp的raw格式文件，利用网络上的一个开源包进行all-focus image的合成

(2) 对focal stack与all-focus image分别进行超分割(superpixel)

(3) 对focal stack中的每一幅图像进行in-focus regions detection，并将结果作为focusness measure(focusness prior)。在进行计算时，利用了DCT(Discrete Cosine Transform)与harmonic variance

(4) 计算focal stack中每一幅图像的background likelihood score

(5) 计算objectness score与foreground likelihood score

(6) 分别计算location cues,contrast cues与foreground cues，利用前面得到的各种priors，并进行组合（加权求和的方式）

4: 更多信息

关于此文章更详细的信息可以见作者的项目主页，里面有他们建立的数据库，saliency maps还有代码(可惜核心部分是p码，有些小郁闷)