LTC: 用于动作识别的长期时间卷积

Long-term Temporal Convolution for Action Recognition（2017）

 

主要贡献

1.提出长期时间卷积网络(LTC)

2.实现了在UCF-101（92.7%）和HMDB51（67.2%）数据集上行人动作识别的SOTA结果

    作者认为将视频分成短片段并通过利用每个片段的得分来整合视频级的信息，或者更复杂的方案像LSTM，都可能是次优的。因此作者提出长期的时间卷积网络（LTC），即采用更长的时间片段作为输入，但为了降低计算量，LTC模型把空间上的分辨率缩小了。论文中，作者对时间片段的长短，空间分辨率的大小各自做了效果对比。

 

长期时间卷积网络LTC

 

    如图所示，网络由五层卷积网络，三层全连接层组成，卷积层的大小分别为64,12,8,256,256，256, 全连接层的大小分别为2048， 2048 ，n_classes。每个卷积层使用3x3x3的时空卷积核（与2D卷积核相比，不同之处在于多出的那一维是在时间维度上每次移动stride进行卷积），每个卷积层后接ReLU层，再接时空最大池化层（与卷积同