图像显著度（saliency detection）研究现状调研

最新推荐文章于 2024-12-09 15:26:19 发布

原创

最新推荐文章于 2024-12-09 15:26:19 发布 · 5.9k 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#saliency #计算机视觉

本文是对图像显著度（saliency detection）的调研总结，发现学习算法在该领域虽可辅助类别和目标检测，但并非核心作用。内容主要基于他人博客整理，向原作者致敬。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近老板让我接触这方面的研究，做了一个简单的调研。

============================================================

关于显著度的研究是从生物研究发展而来，早期比较重要的工作是C.Koch与S.Ullman做的，时间可以追溯到1985年。

显著度的获取方式主要有两种：自上而下，从高层语义入手，其实目标检测等等也可以归入这一类中；更普遍的是自下而上，从底层特征入手。直到现在，第二种自下而上的方法仍是主流。

从CV角度研究显著度问题从1998年开始，开创者是Itti。其最出名的文章是A model of saliency based visual attention for rapid scene analysis，发表在1998年的PAMI上。
这篇文章基本奠定了显著度研究的基本思路，即：特征提取—>归一化—>特征综合/显著度计算—>显著性区域划分/兴趣点标定。
在最初的文章中主要采取启发式的方法提取特征，依据生物学研究，主要提取亮度、色彩、旋转一致性三种特征，得到三种feature map。随后这些feature map被归一化以便综合，综合方法是简单的相加。从综合后的saliency map上提取前N个峰值即为寻求的interest point。

随后的很多研究都采取了这样的框架，针对特征提取/特征综合等等不同的阶段分别进行优化。
例如这篇：J. Harel, C. Koch, &P. Perona. Graph-based visual saliency. Advances in Neural Information Processing Systems, 19:545-552, 2006.
假定仍采用原先的特征提取方式，但是综合阶段使用的不是线性组合而是马尔科夫随机场