44、机器学习在视频重复片段挖掘中的应用

机器学习在视频重复片段挖掘中的应用

1. 引言

随着数字时代的发展，数字视听信息呈现出爆炸式增长，广泛存在于数字档案、互联网、广播数据流以及个人和专业数据库中。挖掘短视频重复片段为从快速增长的视频数据中提取有用信息、挖掘视频档案的重用价值提供了有效途径。短视频片段，时长从几秒到几分钟不等，在新闻视频、体育视频、教育节目等多种视频制作中被广泛应用，如作为节目标志、电视台标志、体育回放飞行标志或广告等。由于其在视频制作中的使用特性，这些短视频片段会在视频节目中多次重复出现。基于内容识别这些短视频重复片段在许多媒体应用中具有重要价值。

首先，它可用于监控广告，检测广播视频或网络视频中受版权保护内容的侵权行为，是水印等其他媒体版权保护技术的重要补充方法。其次，短视频重复片段挖掘在视频结构分析任务中非常有用。通过检测未标记原始视频数据中的视频重复片段，我们可以发现不同视频部分之间的相关性以及用于句法分割的视频结构元素，从而有效构建视频结构模型并应用于视频句法分割。此外，视频重复片段挖掘还有许多其他应用，如内容摘要、个性化以及无损视频压缩等。

视频重复片段被定义为具有相同视频内容的视频片段，但允许存在低水平的信号失真，如噪声、图像质量下降、帧大小变化等。视频重复片段挖掘问题可分为两类：一类是识别已知视频重复片段，这是一个模式识别问题；另一类是识别未知视频重复片段，这是一个数据挖掘问题。

为了识别已知的短视频重复片段，我们提出了一种基于复合隐马尔可夫模型（HMM）的短视频片段表示方案。复合HMM是一个由单个HMM组成的网络，已成功应用于语音识别，在视频序列识别中也表现出良好的性能。与Kulesh等人提出的单HMM方法相比，复合HMM方法对视频片段的时间编辑更具鲁棒性。 </