图像显著性论文（四）--（六）

最新推荐文章于 2024-03-13 15:14:44 发布

ametor

最新推荐文章于 2024-03-13 15:14:44 发布

阅读量1.1w

点赞数 6

分类专栏：图像显著性

图像显著性专栏收录该内容

7 篇文章

订阅专栏

本文综述了几种图像显著性检测方法，包括Context-Aware显著性检测、基于全局对比度的显著性区域检测及Saliency Filters方法。介绍了各方法的原理、特点及其应用场景，适合从事计算机视觉领域的研究人员参考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

图像显著性论文（四）—Context-Aware Saliency Detection

一直想默默的学习，不去理会太多东西，但是外界的影响还是蛮大的，各种找工作，实习，自己还待在实验室研究自己喜欢的东西，心情有点浮躁，又想赶快学好后可以亮一下剑，又感觉理论的东西不能太多急躁，要学扎实，还真不知道应该怎么办，目前来看也只能顺其自然了，多看点，多学点，多发点论文，对得起自己，将来找工作也有得讲，真心不容易啊，我们还是继续看我们的显著性论文吧。

今天讲的这篇论文是2010年CVPR上的一篇显著性论文，主要的贡献就是将几个已存在的方法融合在一起（local saliency map+global saliency map），即是我们所说的组合创新，而且结合了上下文的方法，增强了显著性区域附近的显著点，主要根据四大准则来实现，不过运行效率很一般，不知是否是自己电脑问题还是本身算法问题。

1 引言

本文一开始概括性的介绍了两类显著性方法，一类是计算图像注视点的方法，主要应用是对图片的自动聚焦，另外一类是计算图像显著性区域，对图像识别和分割很有用处。但除了这两类外，作者提出了上下文的方法，有一些图像显著性目标旁边的区域也很重要，如下图所示。

第一行图像为原图像，第二行图像为对于图像的文字说明，第三行图像为显著性目标的提取，第四行为本文的方法。

由图片可以看出，本文的方法最能体现图片要表达的意思。所以说显著性图片的提取，不只提取显著性目标，还需要提取包含语意部分的背景区域。基于上下文显著性特征最主要的意思即图像中某一特征既要与领域特征有很大区别也要与全局特征有很大区别。文章最后将本文的显著性图融入到两种应用中去，分别是retargeting和summarization。

2 原理

该论文主要根据四大准则来实现，如下图所示

1、局部对比，主要包括对比度和颜色的对比，具有不同颜色和模式的区域对应显著性值高，均匀或模糊区域显著性值低；

2、全局对比，抑制经常出现的特征，保持不同的特征

3、显著的像素应当聚集在一起，而不是遍布整幅图像

4、后期处理，如人脸识别

图a为输入图像；图b为Local方法，未考虑全局，没有抑制经常出现的特征，所以显著性区域较多；图c为Global方法，与Local方法相反，未考虑局部对比，抑制太多特征，于是显著性区域较少，图d为两种方法的结合，相对较好。图e为文章给出的方法，更能体现出显著性。

3 上下文感知显著图检测

这里的比较不再以像素点的之间的比较，而是以块之间做比较，将图片切分成多个块，将i所对应的块Pi与所有的其他块Pj在Lab颜色空间做对比，如果Pi块与其他块差距大，则说明是显著性特征。计Dcolor（Pi，Pj）为块Pi和块Pj之间的颜色距离。现在只考虑到（1）（2）条规则，接下来考虑第三条规则，即空间距离的问。和背景区域相似的区域有可能离背景区域距离近也有可能远，但是与显著性区域相似的区域一般都离得比较近，根据这些规则我们可以定义Dposition（Pi，Pj）为Pi,Pj两个块的空间距离。最终联合三条规则得到公式为：

c取3，一对图像块pi与pj的颜色距离越大，位置距离越小，则它们的差异值越大。其中颜色距离为两图像块在Lab空间的欧几里得颜色距离，空间距离为欧几里得位置距离；若对于任意pj，得到的差异值都很大，则认为pi是显著的。

事实上，我们只需要计算前K（K取65）个与Pi最相似的块就可以了。最后得到显著性值公式为：

以上为单个尺度所得到的显著性值，下面公式为多个尺度计算显著性值公式，只要计算多个尺度下的显著性值，然后取平均值来进一步提高显著和非显著区域的对比度。

加入上下文修正：设定显著性阈值从saliency map中提取most attended localized areas，在attended areas 之外的像素显著性值由与它最近的attended pixel之间的欧几里得距离加权，得到新的显著性值。从而提高显著目标附近的显著性值，降低背景区域的显著性值。计算公式如下：

Dfoci（i）为i像素点离最近的focus of attention pixel之间的欧式距离。

4、结果

下面贴出一些原文中的效果图

5、应用

主要介绍了本方法的两个应用

Image retargeting

Summarization through collage creation

参考资料

1、Context-Aware Saliency Detection原文

2、显著性论文学习阶段总结（二）

3、论文主页

代码在论文主页可以下载，不过已经加密，优快云有其他人写过另外一个matlab代码，有需要可以去下载了解。

图像显著性论文（五）——Global Contrast based Salient Region Detection

这篇论文其实在作者的主页上面已经给出中文版的论文了，所以大家看看中文版的论文也就可以看懂了，这里不想多做解析，只是贴出来自己以后可以看，算是显著性论文整个脉络中的一篇吧。

1、引言

论文的提出主要是根据以下几点考虑

根据这几点的分析，作者在文章中提出了两种方法，分别是基于直方图对比度的方法（HC）和基于局域对比度的方法（RC）。

2、基于直方图统计的对比度（HC）

该方法其实与LC方法很像，只不过LC考虑的是图像的亮度，而作者考虑的是图像的颜色，所以效果会比LC好一些，但是HC方法考虑颜色，所以计算量会很大，因为彩色图片有三个通道，每个通道取值为0-255，所以总共有255的3次方种颜色，这个计算量是非常大的，但作者做了一个巧妙的变化，化解了这个问题，现在我们就来看看这种方法。

该方法起初引入了以上公式，其中D(Ik，Ii)为像素Ik和像素Ii在L*a*b空间的颜色距离。将公式展开可得

如果按照以上方法计算那么我们可以得到，相同颜色值的像素得到的显著性，如此一来，我们可以从另外的角度思考，不进行每个像素计算，而是对每种颜色进行计算，所以得到以下公式

为了加快算法的运行时间，减低时间复杂度，作者使用基于直方图加速的方法，将每个通道值从0-255转化为0-12，并且将出现频率较小的颜色丢掉，确保颜色覆盖95%以上的像素就可以了，剩下的5%的像素所占的颜色被直方图中距离最近的颜色所代替。

由于减少颜色数量会对图片产生一定的瑕疵，所以作者通过颜色空间平滑来解决这个问题。每个颜色的显著值被替换为相似颜色显著值得加权平均。公式如下

这样一来在颜色特征空间中距离c较近的颜色分配较大权值，相似的颜色分配到相似的显著性值，减少了量化的瑕疵。

整个实现过程作者现在RGB颜色空间进行量化，在Lab颜色空间测量距离。

3、基于区域的对比度（RC）

首先使用基于图的分割方法将图像分割成若干区域，然后为每个区域建立颜色直方图，对每个区域rk，测量它与图像其他区域的颜色对比度来计算它的显著性，公式如下

其中f（c1，i）为第i个颜色在第1个区域的所有n1中颜色中出现的概率，f（c2，j）为第j个颜色在第2个区域的所有n2中颜色中出现的概率，n1，n2分别表示第一第二区域颜色总数，D(c1，i，c2，j)表示第1个区域第i种颜色和地2个区域第j种颜色之间的距离。

在以上的基础上再融入空间信息，在式子5中引入空间权值，公式如下

4、实验

显著性分割

显著性分割在获得显著性图的基础上加上Grabcut分割方法，得到结果如下

基于内容感知的图像缩放

非真实感渲染

参考资料

1、Global Contrast based Salient Region Detection（原文）

2、基于全局对比度的显著性区域检测（中文翻译版）

3、显著性论文学习阶段总结（一）

4、四种简单的图像显著性区域特征提取方法-----> AC/HC/LC/FT。

5、程明明主页

代码可以再程明明主页下载，代码中还包含了很多其他显著性方法的代码，很有用，如果需要的话可以去下载看看。

图像显著性论文（六）—Saliency Filters Contrast Based Filtering for Salient Region Detection

看了这么多篇显著性CVPR经典的显著性论文，真的是受益匪浅，每看一篇论文都觉得这方法实在是太棒了，都不知道怎么改善了，但是下一篇还是能用其他方法得到更好的效果，整个看论文的过程，也让我对图像显著性的发展有了一定的了解，再看多几篇自己也尝试写写这方面的论文，当然不要求能跟大神一样发个CVPR这类的会议，慢慢来，慢慢积累，每天有所进步就足够了，今天要介绍的这篇文章是2012年的文章，作者实验得出的效果比HC/RC的效果还要好，实际运行出来也可以看出效果很好，而且运行时间很快，想了解详情，那就跟我一起看看这篇论文吧。

1、算法介绍

本文方法主要在RC论文方法的一些缺点中提出了两个方面的改进，第一个为如何分割图像的问题，第二个为如何从超像素到单像素的过度。

①、图像分割

文章对图像的分割主要关注两个内容：保留相关的结构、去除不相关的细节；分割的单元通过相同的特性（如颜色）聚集到一起表示图像的某个区域，尺寸上大体上均匀，并且可以保持颜色边界。

算法最后采用略微修改的SLIC超像素分割，根据CIElab空间的测地线图像距离进行K-means聚类，产生大体上均匀尺寸，并且可以保持颜色边界的超像素分割

②、颜色独立性

基于一种假设：能够吸引我们注意的领域，和其他领域相比，会比较突出。这一假设在之前很多基于对比的显著性论文中都有提到，由于之前已经有过图像分割，所以图像一些小的纹理和噪声都变得无关紧要，而且算法不是在多尺度下进行，所以不会使显著性图像变模糊或者丧失重要信息。

第i个分割单元的位置和颜色值分别被定义为Pi和Ci，则可得下面公式：

其中表示局部或全局对比的控制变量，权重与超像素空间位置的距离有关，如果这个值给予长距离很低的权重，这个颜色独立性就类似于中央周边的对比度，即距离远的像素对其显著性贡献较低；如果这个权重为常数，这个颜色权重就类似于Mingming Cheng论文里面的区域对比度，如果为1，就是全局对比度。如果颜色越独特，则Ui越大，如果距离越远则权值越小（由以下高斯权值公式可知），对显著性影响越小。

如果按照上面的式子进行计算，则需要O(N2)的复杂度，所以作者提出了高斯权值的问题，设=，时间复杂度为O(N)，Zi为归一化，最后公式可改写为：

第一项的Σ结果是1，第二和第三项都可以看做是以ω为核的滤波器，分别对cj 和cj平方滤波。本文将这个核写成了高斯的形式，并且借助Adams提出的permutohedral lattice embedding 滤波器来实现线性时间的计算。

③、空间颜色分布

显著性意味着独立性，背景的颜色一般会分布在图片的各个方面，而前景的颜色一般会比较集中，这一假设在以往的论文中也有说到。

第i个分割单元的空间分布频率定义为Di，颜色为Ci，这个方法计算该单元在图像其他地方出现的频率，如果频率小，说明该单元比较紧凑，比较显著，因此可以用一下公式来表示这一假设

其中表示i，j单元的颜色相似度，颜色越相似权值越大，表示单元i的加权平均位置，根据下方高斯权值可以得出，距离远，颜色越相近，Di越大。这个特征可以表示某种颜色在空间分布的广度。例如某种颜色分散在图像中，但是面积都很小，那么由②计算出来这个颜色的独立性就比较高，但是③会告诉你这个颜色的分布很广，并不显著。

同样，这个公式也可以写成高斯滤波的形式，借助Adams提出的permutohedral lattice embedding 滤波器来实现线性时间的计算，如下公式

其中

④、显著性分配

由②和③得到了Ui和Di，接下来将他们各自归一化，最终由下式获得每个单元的显著性

由于空间颜色分布的区分度更大，因此作者将其放在了指数的位置，并加了一个权重调节。Di越大即颜色分布越广，对应显著性值越小；Ui越大对应颜色独立性越高，对应显著性值越大。

最后我们要分配图像每个像素的显著性，而不是某个单元的显著性，定义为像素的显著性，则可得下式

其中，每个像素的显著性是通过其所在单元以及周围的单元进行高斯线性加权，权重取决于颜色，位置的距离，同样可以通过滤波加快计算时间，最终的归一化也很重要，要求显著图至少包含10%的显著像素，这种归一化方式也会提升算法最终的评价指标。（i表示第i个像素点，而不是第i个单元，Ci和Pi表示第i个像素点的颜色和距离，而Cj和Pj表示第j个单元的颜色和距离，像素i如果和单元j的颜色和距离都比较近，那么权值比较大，即分配Sj的值占的比重较大）。