（八十五）：Is Space-Time Attention All You Need for Video Understanding?

• 出处： ICML 2021: 813-824
• 代码：https://github.com/microsoft/HMNet
• 题目：时空注意力是你理解视频所需要的全部吗?
• 主要内容：

Abstract

我们提出了一种无卷积的视频分类方法，专门建立在空间和时间上的自我注意。我们的方法名为“TimeSformer”，通过直接从帧级补丁序列中学习时空特征，使标准Transformer架构适应视频。
实验结果表明，在不同的视频分类方案中，将时间注意和空间注意分别应用于每个视频块的“分散注意”可以获得最佳的视频分类精度。尽管全新的设计，TimeSformer在几个动作识别基准上达到了最先进的结果，包括报道的最佳精度在kinetic400和kinetic600。最后，与3D卷积网络相比，我们的模型训练速度更快，可以实现更高的测试效率(在准确性略有下降的情况下)，而且它还可以应用于更长的视频剪辑(1分钟以上)。代码和模型可在https://github.com/ facebookresearch/TimeSformer.

1. Introduction

在过去的几年里，由