《ActionFormer: Localizing Moments of Actions with Transformers》阅读笔记

论文地址：https://arxiv.org/abs/2202.07925

项目地址：GitHub - happyharrycn/actionformer_release: Code release for ActionFormer (ECCV 2022)

---------------------------------------------------------------------------------------------------------------------------------

动机：

        基于自注意力机制的Transformer模型在图像分类和目标检测方面展示了令人印象深刻的成果，并且最近在视频理解方面也取得了成功。

提出：

        ActionFormer——一种简单但功能强大的模型，用于单次识别时间上的动作并识别其类别，而无需使用动作提议或依赖预定义的锚窗口。ActionFormer结合了多尺度特征表示与局部自注意力，并使用轻量级解码器对每一时刻进行分类并估计相应的动作边界。

大致过程：

        ActionFormer是一种单阶段、无锚的TAL模型，集成了局部自注意力来从输入视频中提取特征金字塔。输出金字塔中的每个位置代表视频中的一个时刻，并被视为一个动作候选。一个轻量级卷积解码器进一步应用于特征金字塔，以将这些候选分类为前景动作类别，并回归前景候选与其动作起始和结束之间的距离。结果可以轻松解码为带有标签和时间边界的动作。

贡献：

        最早提出基于Transformer的单阶段无锚TAL模型的研究之一

        开发TAL的Transformer模型的关键设计选择，并展示了一个效果出乎意料好的简单模型

        在主要基准上实现了state-of-the-art结果，并提供了一个坚实的TAL基线

结果：

        在THUMOS14、ActivityNet 1.3和EPIC-Kitchens 100数据集取得显著提升。

方法细节：

问题定义：

        输入视频特征：，其中, 是从3D卷积提取出的t时刻视频片段特征

目标：

        预测动作标签

其中，为动作实例，N在不同视频中也不同；

        ：动作开始时间