动作/行为识别调研

1. 简介

动作识别(Action Recognition)，就是从视频片段（可视为2D帧序列）中分辨人的动作类型，常用数据库包括UCF101，HMDB51等。相当于对视频进行分类。常用的方法有Two Stream,SlowFast,TSN,C3D,I3D等等

时序动作定位(Temporal Action Localization)，不仅要知道一个动作在视频中是否发生，还需要知道动作发生在视频的哪段时间（包括开始和结束时间）。特点是需要处理较长的，未分割的视频。且视频通常有较多干扰，目标动作一般只占视频的一小部分。常用数据库包括HUMOS2014/2015, ActivityNet等。相当于对视频进行指定行为的检测。

时空动作检测(Spatial-temporal Action Detection)，类似目标检测，不仅需要定位视频中可能存在行为动作的视频段，还需要将其分类，即：localization+recognition。而定位存在行为动作的视频段是一个更加艰巨的任务。常用的方法有SlowFast,SlowOnly等等。

• 从操作角度，可以看作将视频转换为多个RGB帧，再对多帧组合进行特征提取，最后融合并分类。
• 从实现方法，可以分为传统方法和深度学习方法，目前传统方法最好的是iDT，深度学习有双流框架，3D卷积框架等等方法。
• 从检测角度，一般分为基于骨骼点检测和基于RBG视频检测，也有数据来源深度传感器。

$$Kinetics-400数据集上的动作识别$$

$$A$$