spatio-temporal localization方法

最新推荐文章于 2023-12-04 20:49:34 发布

原创最新推荐文章于 2023-12-04 20:49:34 发布 · 450 阅读

0 ·

CC 4.0 BY-SA版权

前言: 光流，backbone等等这种的发展就不说了，主要说下大的发展的变化

早期是单帧检测，然后把结果连接起来。
不同方法backbone不同，有的也用了光流，比如[1]
由于单帧缺少对时序信息的挖掘，最近的方法是在做检测时用到时间信息。
代表性的有

1>ACT [2] 将多帧结果堆叠回归一个立方的proposal也就是说类似于做了proposal层面的tube(作者把它叫做tublet),然后把多个立方的proposal用dp算法做连接，平滑等后处理(作者叫spatio-temporal tubes)
2> 上面都是2D卷积做的，T-CNN [3] 用了3D卷积提取clip的特征，然后经过作者提出的tube proposal 层来做clip内proposal的tube的构成，接着也是类似于1>进行后处理，构造spatio-temporal tubes
3> AVA的baseline用了与1> 2>相似的pipeline。用了更强的backbone，同时proposal tube的生成方式是直接通过clip中间帧的proposal在clip内扩展得到，相比于单帧检测会更加高效。2>是通过不断地对提取器最后一层，3D的特征下采样到时间维度为1来进行检测，然后把这个proposal当作mask在提取器的前面没有做时间下采样前的特征处理，得到的proposal tubes。

后面的工作几乎都遵循2.里描述的pipeline，值得注意的是STEP [4] 在ucf101上取得了远超ACT和T-CNN的效果。它是用了cascade的策略，但是每次迭代时候会在时间维度对proposal进行扩展。
结论：感觉这个任务的尴尬程度不亚于caption

[1] G. Gkioxari and J. Malik. Finding action tubes. In CVPR, 2015. 3
[2] V.Kalogeiton, P. Weinzaepfel, V. Ferrari, and C. Schmid. Action tubelet detector for spatio-temporal action localization. In ICCV, 2017. 2, 3, 6, 7
[3] R. Hou, C. Chen, and M. Shah. Tube convolutional neural network (T-CNN) for action detection in videos. In ICCV, 2017. 2, 3, 6, 7
[4] Yang X, Yang X, Liu M Y, et al. STEP: Spatio-Temporal Progressive Learning for Video Action Detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 264-272.