视频理解AI模型分类与汇总

人工智能领域视频模型大体也经历了从传统手工特征，到卷积神经网络、双流网络（2014年-2017年）、3D卷积网络、transformer的发展脉络。为了时序信息，有的模型也结合用LSTM。

视频的技术大多借鉴图像处理技术，只是视频比图片多了一个时间维度。

下面内容先简单汇总下，后续再逐渐补充。

0.传统特征

0.1 STIP

该特征来源于论文《On space-time interest points》，该特征是时空兴趣点的经典特征。

0.2 improved dense trajectories（iDT）

iDT算法是行为识别领域中非常经典的一种算法，在深度学习应用于该领域前也是效果最好的算法。由INRIA的IEAR实验室于2013年发表于ICCV。目前基于深度学习的行为识别算法效果已经超过了iDT算法，但与iDT的结果做ensemble总还是能获得一些提升.

"Dense Trajectories and Motion Boundary Descriptors for Action Recognition"和"Action Recognition with Improved Trajectories"。这两篇都是H. Wang的文章，前者要更早一些，介绍了DT（Dense Trajectories）算法。后者则在前者的基础上进行了改进（improved），主要是引入了对背景光流的消除方法，使得特征更集中于对人的运动的描述。两者的框架大致相同。

&nbs