动作识别——action recognition新手入门

定义

行为识别似乎是图像分类任务到多个帧的扩展，然后聚合来自每帧的预测

背景

传统方法，视频输入=》特征提取=》特征融合=》特征分类=》分类结果
深度学习方法，单流法，双流法，基于骨架
特征提取，ROI提取表示

传统方法

DT（Dense Trajectories）算法,是利用光流场来获得视频序列中的轨迹，在沿着轨迹提取轨迹形状特征HOF，HOG，MHB特征，然后利用BoF(Bag of Features)方法对特征进行编码，最后基于编码结果训练SVM分类器。
iDT算法，基于DT算法进行了以下几点的改进：对光流图像的优化，估计相机运动；特征正则化方式的改进；特征编码方式的改进
相机运动估计：通过估计相机运动来消除背景上的光流以及轨迹；假设相邻的两帧图像之间的关系可以用一个投影变换矩阵来描述，即后一帧图像是前一帧图像通过投影变换得到的；为了准确估计投影变换，采用了SURF特征以及光流特征来获得匹配点对；还使用human detector检测人的位置框，并去除该框中的匹配点对。

参考材料

博客一

博客二