该论文借鉴了C3D和何凯明等人的经典论文Deep Residual Learning for Image Recognition,CPVR,2016.
设计出来的可以称之为3D残差网络。具体模型如下图:
最终采用的是18层的。
下图通过将3D变成2D,得到3D比2D好。
模型的输入为8×112×112. 在需要下采样的卷积层之中,除了第一个的步长是1×2×2,其余的都是2×2×2.
该论文通过一些列的观察,得出18层的就够了,前提条件是在保持模型总参数不变的情况之下。
训练细节如下:
采样间隔讨论如下
间隔分为1,2,4,8,16,32. 为1的话,表明连续取4幅图片(调参的时候采用ucf101,输入是4×112×112,模型参数确定好以后,输入变成8×112×112),为32,表示是从128幅图像里面每间隔32选取1幅图像,实验结果如下
输入图像分辨率的讨论
分224×224,112×112和56×56,分别从256×342,128×171和64×86中剪接。卷积核,步长,池化如下: