10、多模态与 RGB - D 动作识别方法解析

多模态与 RGB - D 动作识别方法解析

1. 多模态动作识别方法对比

在多模态动作识别中，有多种方法被用于不同数据集上的维度缩减和动作识别任务，下面对几种常见方法在 KTH 和 ETH 数据集上的表现进行分析。

1.1 KTH 数据集

• 模式 3 维度变化影响 ：通过固定模式 3 的维度，测试模式 1 和 2 维度的影响。从实验结果来看，MDA 在维度为 [15,15,20] 时取得了最佳结果，这表明模式 1 和 2 的最佳子空间维度。同时，MDA 比 DATER 表现更好，说明模式 3 的相关性在动作轮廓序列中起着重要作用。
• 各方法表现分析 ：V - Tensor 在该数据集上也比 DATER 表现好，体现了模式 3 流形学习在动作序列中的有效性。MDCC 大部分时间比 DATER 结果好，进一步证明了模式 3 相关性的有效性。而 DNTF 更适合处理像人脸这类信息丰富的图像，对于只有 0 和 1 值的轮廓图像，其保留的能量太少，表现不佳。

方法	特点
MDA	在特定维度表现佳，模式 3 相关性重要
DATER	表现相对 MDA 等方法较弱
V - T