16、视觉显著性计算：多任务学习排序方法解析

视觉显著性计算：多任务学习排序方法解析

1. 背景与问题提出

视觉显著性在视频应用如视频重定向和智能视频广告中起着关键作用。然而，现有的视觉显著性计算方法常为所有场景构建统一模型，这导致在处理内容多样的场景时性能不佳。

2. 多任务学习排序方法概述

为解决上述问题，提出了一种多任务学习排序方法，用于推断适用于不同场景簇的多个显著性模型。该方法的主要贡献如下：
- 成对学习排序框架 ：将视觉显著性计算问题构建在成对学习排序框架中，模型能自动选择最能区分显著目标和干扰物的视觉特征。
- 构建多模型 ：提出构建适用于各种场景簇的多个视觉显著性模型的方法，不同场景可选择和整合不同特征来区分目标和干扰物。
- 多任务学习 ：提出多任务学习方法同时推断多个显著性模型，通过模型间信息共享提高每个模型的泛化能力。

3. 多任务学习排序用于视觉显著性计算

3.1 必要性阐述

在自然场景中，视觉刺激的复杂性常超出人类视觉系统的处理能力，视觉显著性在确定场景中重要子集时起关键作用。视觉显著性计算需解决两个问题：一是确定能区分目标和干扰物的特征，二是优化特征的整合方式。

现有的视觉显著性计算方法可分为刺激驱动和基于学习两类。但它们常为所有场景构建统一模型，在不同场景中表现不稳定。例如，在监控视频中，运动特征可突出汽车或行人；而区分红色苹果或花朵时，颜色对比更重要。因此，需要构建特定场景的模型，但构建特定场景模型易出现过拟合问题，缺乏泛化能力。可行的解决方案是为每个场景簇构建模型，增强泛化能力