18、时空动作实例分割与定位技术解析

时空动作实例分割与定位技术解析

在计算机视觉领域，时空动作实例分割与定位是一项极具挑战性和重要性的任务。它旨在从视频序列中准确识别出动作的类别，并精确地定位出动作发生的时空区域。下面将详细介绍相关的方法、实验结果等内容。

1. 区域提议生成

区域提议生成是动作检测的关键步骤，它为后续的动作分类和定位提供候选区域。这里采用了两种不同的区域提议生成方案：

1.1 基于运动分割的提议

基于运动分割的方法利用人类运动分割算法生成人类动作的二值分割图。该算法的具体步骤如下：
1. 输入与输出 ：以包含人类动作的RGB视频帧序列为输入，输出二值标记的时空视频片段，其中属于人类动作的像素标记为前景，其余为背景。
2. 计算动作显著性特征 ：为了定位和排序“动作性”，通过利用前景运动和人类外观信息计算人类运动显著性特征。前景运动通过使用长期轨迹形成相机模型来估计，人类外观基于显著性图则使用在PASCAL VOC 2007上训练的DPM人员检测器生成。
3. 视频分割 ：使用基于层次图的视频分割算法提取不同像素粒度级别的超体素。
4. 特征编码与图构建 ：将前景运动和人类外观基于显著性特征编码到超体素层次结构中，使用层次马尔可夫随机场（MRF）模型。为避免图过于脆弱，MRF图仅使用一小部分极有可能包含人类动作的超体素构建。
5. 能量最小化与参数学习 ：使用α - 扩展算法最小化MRF的能量，并使用GMM估计自动学习模型参数。最终输出人类