论文笔记3D Convolutional Neural Networks for Human Action Recognition

1 简介

本文依据2009年左右的《3D Convolutional Neural Networks for Human Action Recognition》翻译总结.

应该是较早提出3D CNN的文章。识别的人类动作主要要三种打电话、ObjectPut、Pointing。

2 3D Convolutional Neural Networks

2.1 2D CNN

2.2 3D 卷积

下图是共享权重的3D卷积。相同的3D kernel.

不共享权重的3D卷积。右侧会产生两个不同的feature map。本文就用的这种。

2.3 3D CNN Architecture

输入用了7帧画面。

hardwired kernels 输出 5 个不同的channels 即 gray, gradient-x, gradient-y, optflow-x, and optflow-y.

H1到C2是在每个位置用了两个不同的3D卷积(上一节说到的不共享权重的3D卷积)，所以产生2倍的23个feature maps.

S3到C4是用了3个不同的3D卷积，从23 * 2到13 * 6.

3 实验结果

可以看到3D CNN比2D CNN效果好。