4、用于动作识别的分层聚合深度卷积神经网络

用于动作识别的分层聚合深度卷积神经网络

1. 引言

人类动作识别在多媒体、计算机视觉、医疗保健、智慧城市等众多领域有着广泛应用，受到了极大关注。它通常可分为基于传感器和基于视觉的解决方案，其中基于视觉的解决方案因表现出色，在视觉监控、机器人和异常检测等任务中越来越受欢迎。

早期用于人类动作自动分析的方法，通过不断改进特征和学习方法，提升了识别性能，但在解决问题时仍面临外观、视角、光照和执行速度变化等重大障碍。

近年来，基于深度卷积神经网络（ConvNets）的方法在计算机视觉领域取得了巨大进展，在图像分类、分割、姿态估计和人脸识别等任务中接近人类水平。受此启发，也有一些ConvNet模型被用于基于视频的动作识别。这些方法通常训练两个并行网络，一个空间流学习RGB输入图像的空间特征，另一个时间流处理光流的运动信息，最后通过加权组合各网络得分得到最终分类结果。

然而，最初基于ConvNet的动作识别方法相比手工特征并没有显著提升性能，这主要归因于动作识别缺乏大规模训练样本、模型过拟合以及现有ConvNet模型难以捕捉动作时间动态的巨大变化。

近期，一些方法在UCF - 101和HMDB51数据集上取得了不错的结果，但处理长时结构的流行方法多是在多个短期片段上评估ConvNet，然后进行后期融合，且大多只关注最终层的时间动态，忽略了各层特征图之间的时间关系。

为解决这些问题，本文提出了一种名为分层聚合卷积神经网络（HACNN）的新型分层ConvNet架构，用于处理长期时间动态。HACNN以包含多个不重叠时间片段的长视频为输入，经过前向传播后给出单一预测分数。网络层次结构包含多个特征处理级别，在最低级别，对不重叠片段的输入通道进