（八十五）：Is Space-Time Attention All You Need for Video Understanding?

• 出处： ICML 2021: 813-824
• 代码：https://github.com/microsoft/HMNet
• 题目：时空注意力是你理解视频所需要的全部吗?
• 主要内容：

Abstract

我们提出了一种无卷积的视频分类方法，专门建立在空间和时间上的自我注意。我们的方法名为“TimeSformer”，通过直接从帧级补丁序列中学习时空特征，使标准Transformer架构适应视频。
实验结果表明，在不同的视频分类方案中，将时间注意和空间注意分别应用于每个视频块的“分散注意”可以获得最佳的视频分类精度。尽管全新的设计，TimeSformer在几个动作识别基准上达到了最先进的结果，包括报道的最佳精度在kinetic400和kinetic600。最后，与3D卷积网络相比，我们的模型训练速度更快，可以实现更高的测试效率(在准确性略有下降的情况下)，而且它还可以应用于更长的视频剪辑(1分钟以上)。代码和模型可在https://github.com/ facebookresearch/TimeSformer.

1. Introduction

在过去的几年里，由于基于自我注意的方法的出现，自然语言处理(NLP)领域发生了革命性的变化(Vaswani等人，2017a)。由于它们在捕捉单词之间的长期依赖关系以及它们的训练可伸缩性方面的卓越能力，自我注意架构，如Transf