Bruce_0712的博客

原文：《Temporal Pyramid Network for Action Recognition》CUHK+SenseTime 的组合还是强。初看标题的时候，想到图片分类的金字塔池化(Spatial Pyramid Pooling)。金字塔池化解决大小，TPN解决快慢问题。Abstrct本文提出TPN(Temporal Pyramid Network)网络结构，特点是金字塔。起源于对视频动作快慢得研究，在多个数据集上取得优秀得结果。Introduction现实中视频动作的速度(vi

Paper：https://arxiv.org/abs/1711.07971v1Author：Xiaolong Wang, Ross Girshick, Abhinav Gupta, Kaiming He (CMU, FAIR)1 创新点这篇文章非常重要，个人认为应该算是cv领域里面的自注意力机制的核心文章，语义分割里面引入的各种自注意力机制其实都可以认为是本文的特殊化例子。分析本文的意义不仅仅是熟悉本文，而是了解其泛化思想。不管是cv还是NLP任务，都需要捕获长范围依赖。在时序任务中，RN.

好久没看视频相关的文章了，刚好最近看到几篇还不错的，写个笔记总结下：CoST[1]： 海康CVPR19的文章，个人感觉非常不错，主要是将传统LBP-TOP那套XY-YT-XT视角分解的思想用到视频分类里，而不必使用以XYT为视角的3x3x3卷积，减少了很多冗余参数。2.STM[2]：商汤ICCV19的文章。第一次看名字，以为是比较早期挂出来的 TSM[4]。。。 基于TSN的2DCNN框架，也不需要提前计算好的光流，通过channel-wise的时空模块和运动模块直接在RGB采样帧中提取特征，轻量效.

https://zhuanlan.zhihu.com/p/85242145

接着之前的《浅谈动作识别TSN，TRN，ECO》，来谈谈最近 MIT和IBM Watson 的新文 Temporal Shift Module（TSM）[1]。Something-SomethingV1 数据集上的个算法性能对比看看上图，文章的主要贡献一目了然：对比主流的轻量级在线视频理解ECO系列， TSM系列在参数量少三倍的情况下，性能仍然超越ECO系列 另外文章的TSM模块的实现非常简洁而且硬件友好：通过在2D CNN中位移 temporal 维度上的 channels，来实现时间上

什么是动作识别？给定一个视频，通过机器来识别出视频里的主要动作类型。动作识别表面是简单的分类问题，但从本质上来说，是视频理解问题，很多因素都会影响其中，比如不同类型视频中空间时间信息权重不同？视频长短不一致？视频中动作持续的起始终止时间差异很大？视频对应的语义标签是否模糊？本文主要对比 video-level 动作识别的经典方法TSN，及其拓展变形版本的TRN和ECO。Temporal Segment Network[1], ECCV2016TSN提出的背景是当时业界做动作识别都是用 .

题目:《SlowFast Networks for Video Recognition》链接：https://arxiv.org/pdf/1812.03982.pdf代码链接：https://github.com/r1ch88/SlowFastNetworks1、文章摘要翻译我们提出了用于视频识别的SlowFast 网络。我们的模型包括：（i）一条Slow路径，以低帧速率运行，以捕获空间语义；（i i）一条Fast路径，以高帧速率运行，以精细的时间分辨率捕获运动。Fast通道可以通过减少通道

https://www.jianshu.com/p/fed0005c2f11https://blog.youkuaiyun.com/shenxiaolu1984/article/details/51094959