9、多模态动作识别中的模式驱动判别分析

多模态动作识别中的模式驱动判别分析

在数据处理和识别领域，传统的向量或矩阵分析方法在处理复杂的高维数据时存在一定的局限性。为了更好地处理这些数据，张量判别分析（TDA）应运而生，它是向量或矩阵分析向高阶张量分析的扩展，能够保留数据的原始结构。

1. 相关背景与现有方法

• 张量判别分析（TDA） ：TDA方法在张量子空间中，通过固定其他模式来交替计算每个模式的判别投影矩阵。部分TDA方法在每个模式上集成Fisher准则，如一般张量判别分析（GTDA）；还有些方法则找出每个模式数据之间的相关性，如多线性判别典型相关分析（MDCC）。像GTDA用于步态识别、DATER用于人脸识别，它们不仅保留了数据的原始高维结构，还避免了小数据集带来的“维度灾难”，在相应识别任务中取得了良好效果。
• 典型相关分析（CCA） ：考虑到对象因不同角度和光照条件产生的变化，CCA常被用于计算两个数据集的相似度。Kim等人提出了张量典型相关分析（TCCA）用于动作检测和识别，相比CCA提高了准确性且在动作检测上更高效。在之前的工作中，还提出了基于CCA的多线性子空间判别分析（MDCC）用于动作识别，将动作图像序列视为3阶张量，利用张量对之间的典型相关性计算判别投影矩阵，具有判别信息的MDCC比TCCA获得了更好的准确性。

然而，上述方法在处理动作张量时，单独执行Fisher准则或CCA，未考虑每个模式的不同现实意义，如图像模式的像素特征和序列模式的相关性。

2. 模式驱动判别分析（MDA）的提出

我们提出了一种模式对齐方法——模式驱动判别分析（