16、基于多任务学习排序的视觉显著性计算方法

基于多任务学习排序的视觉显著性计算方法

1. 概述

视觉显著性在视频重定向和智能视频广告等各种视频应用中起着重要作用。然而，现有的视觉显著性计算方法通常为所有场景构建统一模型，导致在处理内容多样化的场景时性能不佳。为解决这一问题，提出了一种多任务学习排序方法，用于推断适用于不同场景簇的多个显著性模型。该方法的主要贡献如下：
1. 成对学习排序框架 ：将视觉显著性计算问题构建在成对学习排序框架中，模型可自动选择最能区分显著目标和干扰物的视觉特征。
2. 多模型构建 ：提出构建适用于各种场景簇的多个视觉显著性模型的方法，通过这些特定于场景的模型，可针对不同场景最佳地选择和集成不同特征，以区分目标和干扰物。
3. 多任务学习 ：提出多任务学习方法，同时推断多个显著性模型。通过在模型间适当共享信息，可显著提高每个显著性模型的泛化能力。

2. 多任务学习排序用于视觉显著性计算

2.1 引入

在自然场景中，视觉刺激的复杂性通常超过人类视觉系统的处理能力，因此重要的视觉子集会被优先选择和处理。视觉显著性在确定场景中哪些子集（如像素、块、区域或对象）重要方面起着关键作用。视觉显著性计算的核心任务是对场景中的各种视觉子集进行排序，以指示其重要性和处理优先级。

视觉显著性计算需解决两个问题：一是确定哪些特征能在场景中区分目标和干扰物，二是如何最佳地集成这些特征。现有方法在解决这些问题时存在局限性，因为它们通常为所有场景构建统一模型。实际上，不同场景中最能区分目标和干扰物的特征可能差异很大。例如，在监控视频中，运