8、用于动作识别的非线性跨视角样本增强方法

用于动作识别的非线性跨视角样本增强方法

1. 跨视角样本增强方法概述

在动作识别领域，跨视角特征的相关性是一个重要的研究点。基于跨视角特征高度且非线性相关的观察，提出了一种通过将特征从源视角转移到目标视角来丰富训练样本的方法。该方法利用基于核的典型相关分析（CCA）在不同视角之间映射特征。

1.1 构建变换矩阵

使用“源 - 目标”视角视频序列数据集构建变换矩阵 $P_s$ 和 $P_t$。这个数据集由 20 个光轴等角的摄像机拍摄的简单动作视频组成，光轴之间的角度 $\theta$ 恒定且相对较小（$\theta = 180$），以避免遮挡并获得足够的视角对齐。具体步骤如下：
1. 从视频数据中通过跟踪密集采样的关键点生成丰富的轨迹。
2. 由于不同视角的帧是同步的，使用 SIFT 匹配根据关键点在相应帧中的位置获得对齐轨迹集 $V_s$ 和 $V_t$。
3. 在学习过程中，随机采样 $V_s$ 和 $V_t$ 中 4000 对相应的轨迹，用于学习核主成分分析（KPCA）映射以及 CCA 变换矩阵 $P_s$ 和 $P_t$。

1.2 视频集增强

利用学习到的变换矩阵 $P_s$ 和 $P_t$，通过转移组件特征来丰富不同视角的训练视频集。具体操作如下：
1. 使用特定方法描述每个视频的基于组件的特征，该方法通过跟踪密集采样的关键点从视频数据中生成并分组丰富的轨迹。
2. 在视频增强过程中，首先使用 KPCA 映射源视角组件特征（定义为其分配轨迹特征的中心）。
3. 然后使用公式（4）转移其 KPCA 特征，生成与目标视角相关的新组件特征。此转移假设潜在空间中的相应特征