Action-Net简单记录

基本介绍

论文：https://arxiv.org/abs/2103.07372
github:https://github.com/V-Sense/ACTION-Net
Action-Net是一个基于2D CNN的即插即用的运动模块，整个模型是在TSM基础上进行改进的，在原来的基础上引入了三个激励模块：时空激励（STE）、通道激励（CE）和运动激励（ME）,采用了多路径激励的方法有效地捕获时空特征、通道特征和运动特征.
TSM的局限：TSM通过在时间轴上移动一部分通道，将时间信息引入到基于2D CNN的框架中，这显著改善了基于2D CNN的框架的基线。然而，TSM仍然缺乏明确的动作时间模型，例如运动信息。

模型

整体ACTION模块分别对STE、CE和ME生成的三个激励特征进行元素级的相加。通过这样做ACTION模块的输出可以获得时空信息、通道间依赖信息和运动信息。图3显示了ResNet-50的ACTION-Net架构，其中ACTION模块插入到每个残差块的开头。它不需要对块中的原始组件进行任何修改。

Spatio-Temporal Excitation (STE) 模块