32、基于知识支持的MPEG视频分割与语义内容提取用于精彩片段标注、索引和检索

基于知识支持的MPEG视频分割与语义内容提取用于精彩片段标注、索引和检索

一、引言

随着网络和多媒体技术的发展，基于内容的视频分析、索引和检索因其广泛的应用和巨大的商业潜力受到了广泛关注，如数字图书馆、视频点播、远程医疗等。其中一个基本问题是如何从视频中提取有意义的精彩片段，这对于自动标注视频内容、概括整个视频以实现快速浏览和搜索非常重要。然而，这个问题在实际应用中仍远未得到完全解决。

一般来说，视频通常被分割为短片段，如镜头和场景等。视频镜头包含来自特定相机运动（如缩放、平移或倾斜）的帧，不同镜头通过一些特殊的编辑效果（如淡入/淡出、溶解等）组合在一起。视频场景通常包含多个镜头，以表示相对完整的语义内容。此外，人们还引入关键帧来表征每个镜头或场景。因此，视频的层次表示至少有4个级别，包括关键帧、镜头、场景和整个视频。虽然这种层次结构为视频表示提供了一种实用方法，但它缺乏语义内容，无法满足普通用户的需求。

在大多数视频中，人类活动往往是焦点。视频中皮肤像素的检测在许多相关的图像和视觉应用中起着重要作用，如人脸检测、面部表情识别、手势识别、人机交互甚至裸人检测。在许多视频应用中，精彩片段通常通过对人物对象的缩放来强调，这在电视新闻、体育比赛和电影等中广泛存在。因此，我们旨在检测视频中的这种场景，以实现视频的智能标注和检索。

本文的主要贡献如下：
1. 提出了从直流（DC）图像和运动向量中提取特征的有效方法，并成功应用于视频镜头检测。
2. 将这些压缩域特征应用于相机运动估计。
3. 使用统计建模进行皮肤检测。
4. 引入了一种有效的解决方案，用于检测人物对象缩放的精彩片段，以实现视频的自动标注、索引和检索。由于所有相关技术