22、视觉显著性在广告、检索、摘要和压缩中的应用

视觉显著性在广告、检索、摘要和压缩中的应用

1. 广告应用

1.1 线性广告

线性广告是一种将与内容相关的广告片段插入到不太干扰观看体验的时间位置的方法。其系统框架主要包括以下三个模块：
1. 候选广告选择 ：从大型广告数据库中选择候选广告片段。通过使用查询关键字（如果源视频是通过查询搜索获得的）、标题、标签（内容提供商或广告商提供的文本描述）和字幕（如果可用），根据广告与原始视频之间的文本相关性对数据库中的广告进行排名。这些文本信息随后用于概率模型中对广告进行排序。
2. 候选插入点选择 ：从源视频中提取视觉 - 听觉特征，以检测广告插入的候选时间位置。首先将原始视频划分为镜头，每个镜头由一个关键帧表示。然后计算不连续性以衡量两个连续镜头之间的内容差异，同时根据注意力曲线测量吸引力。插入点的吸引力可以通过对其相邻镜头的注意力值进行加权平均来计算。插入点应选择不连续性高且吸引力低的时间位置，并且检测时还应考虑这些点的时间分布以及源视频内容与广告内容之间的全局和局部相关性。
3. 基于优化的广告插入 ：通过优化算法匹配广告和插入点。该模块根据每个广告与相应插入点两侧相邻源视频内容之间的局部视觉 - 听觉相关性来优化广告插入。优化过程旨在选择候选插入点和广告的子集，以最大化上下文相关性并最小化干扰性。

以下是线性广告系统框架的 mermaid 流程图：

graph LR
    classDef process fill:#E5F6FF,stroke:#7