22、视觉显著性的多领域应用探索

视觉显著性的多领域应用探索

1. 广告领域的应用

1.1 线性广告

线性广告是一种将与内容相关的广告片段插入到不太干扰观看体验的时间位置的方法。其系统框架主要包含三个模块：
1. 候选广告选择 ：从大型广告数据库中挑选候选广告片段。通过使用查询关键词（若源视频是通过查询搜索获得）、标题、标签（内容提供商或广告商提供的文本描述）和字幕（若可用）等文本信息，衡量广告与原始视频的文本相关性，然后利用概率模型对数据库中的广告进行排序。
2. 候选插入点选择 ：从源视频中提取视觉 - 听觉特征，以检测广告插入的候选时间位置。具体步骤为：
- 将原始视频分割成镜头，每个镜头用一个关键帧表示。
- 计算相邻镜头之间的不连续性，以衡量内容的差异。
- 根据注意力曲线测量每个镜头的吸引力。
- 通过对相邻镜头的注意力值进行加权平均，计算插入点的吸引力。
- 选择不连续性高且吸引力低的时间位置作为插入点，可通过寻找不连续性减去吸引力的组合曲线的峰值来检测插入点，同时需考虑插入点的时间分布以及源视频内容与广告内容的全局和局部相关性。
3. 基于优化的广告插入 ：通过优化算法匹配广告和插入点。该模块根据每个广告与相应插入点两侧相邻源视频内容的局部视觉 - 听觉相关性，优化广告插入，目标是选择候选插入点和广告的子集，以最大化上下文相关性并最小化干扰性。

1.2 非线性广告

非线性广告方法侧重于将广告直接叠加在视频内容上。视觉显著性/注意力的作用是确定应采用哪些广告以及将这些广告叠加在何处