一.解决的问题
1.卷积神经网络(CNNs)是一种能够直接作用于原始输入的深度学习模型,从而实现了特征构建过程自动化。
2.这些模型目前仅限于处理2D输入。在这篇论文中,我们开发了一个新颖的3D CNN动作识别模型。
3.该模型通过三维卷积从空间和时间两方面提取有限元数据,从而捕获多个相邻帧的运动信息。所建立的模型从输入帧中生成多个信息通道,通过对各通道的信息进行融合得到最终的特征表示。将所建立的模型应用于现实环境中对人的行为进行识别
二.3D卷积神经网络
1. 2D卷积计算公式:
(1)第i层第j个feature map中(x,y)位置的输出值,记为 V i j x y V^{xy}_{ij} Vijxy。
(2) P i P_i Pi和 Q i Q_i Qi分别是核的高度和宽度。
(3) W i j k p q W^{pq}_{ijk} W