21、视觉显著性计算及其应用

视觉显著性计算及其应用

1. 训练显著性模型时消除标签歧义

在训练视觉显著性模型时，大多数用户数据往往不准确或不充分，存在标签歧义问题。为解决这一问题，提出了两种方法。

1.1 处理视频注视点歧义

将稀疏的正样本和未标记数据嵌入到成本敏感的学习排序框架中，以此解决视频注视点的歧义。

1.2 处理图像注视点或标记矩形歧义

对于图像注视点或标记矩形的歧义，提出了多实例学习排序框架。该框架通过迭代恢复正确的实例标签并训练显著性模型，能够聚焦于真实目标和真实干扰项之间的相关性。

1.3 方法优势

大量实验和比较表明，这些方法在整体性能上有显著提升。估计的显著性图通常“噪声”更少，因为成功去除了伪目标；同时，由于去除了伪干扰项，整个显著对象能够更加突出。这些方法生成的显著性图有助于进一步的基于图像的应用，如对象分割或基于内容的图像检索。

2. 显著性应用概述

随着互联网的快速发展，图像和视频的数量呈爆炸式增长。为满足各种用户需求，有必要开发智能的计算机视觉和多媒体应用。视觉显著性在这些智能应用中起着重要作用，原因如下：
- 从视觉显著性的定义来看，显著子集对应于重要的图像或视频内容。关注这些显著子集，处理结果可以与图像和视频的主要内容紧密相关。
- 有趣的目标在视觉上是显著的，因此视觉显著性在一定程度上可以反映用户的兴趣。强调显著内容，应用程序可以根据用户的兴趣提供针对性的服务。

下面将介绍六类基于显著性的应用，包括重新定位、广告、检索、摘要、压缩和识别。

3. 重新定位