论文阅读《Long-term Temporal Convolutions for Action Recognition》

最新推荐文章于 2022-09-23 15:57:41 发布
最新推荐文章于 2022-09-23 15:57:41 发布
阅读量2.7k 收藏 6
点赞数
CC 4.0 BY-SA版权
分类专栏： 论文阅读 deep-learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bojackhosreman/article/details/78261097
《Long-term Temporal Convolutions for Action Recognition》论文提出LTC方法，通过研究不同低级表达对动作建模的影响，强调高质量光流估计的重要性。在UCF101（92.7%）和HMDB51（67.2%）数据集上取得良好效果。网络包含5个时空卷积层和3个全连接层，输入分辨率从16帧到60帧，同时考虑RGB和光流信息。训练策略包括使用SGD，多尺度裁剪等数据增强技术。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文阅读《Long-term Temporal Convolutions for Action Recognition》

标签（空格分隔）： ActionRecognition ReadingNote

project page :http://www.di.ens.fr/willow/research/ltc
gayhub: https://github.com/gulvarol/ltc

现有方法一般采用CNN来获取动作表达，但是一般来说从较少的视频帧中，很难完整的对一个动作建模。

本文工作：

  • LTC（long-term temporal convolutions）
  • 研究了不同的low-level表达（比如视频原始像素、光流向量）的影响
  • 强调高质量光流估计的重要性。

实验结果：UCF101 (92.7%) and HMDB51 (67.2%)。

Intro

LONG-TERM TEMPORAL CONVOLUTIONS

网络结构

网络结构
The network has 5 space-time convolutional layers with 64, 128, 256, 256 and 256 filter response maps, followed by 3 fully connected layers of sizes 2048, 2048 and number of classes.

卷积核3x3x3，每个卷积层都采用ReLU激活函数，以及max-pooling（除了第一层是2x2x1，其他都是2x2x2）。三个维度都padding一个像素，卷积stride 1 for conv，2 for pooling。前两个fc层采用dropout。fc层结束后都接上ReLU层，最后采用softmax层输出类别分数。

网络输入

从C3D出发，首先对比16帧和60帧的输入。
系统分析输入信号的时空分辨率增长的影响（两个方面motion/appearance）。

16帧：112x112x16 crop，171x128像素
60帧：58x58x60 crop，89x67像素

60帧的网络，5个卷积层分别对应60、30、15、7、3帧输入。
16：16、8、4、2、1.

The space-time resolution for the outputs of the fifth convolutional layers is 3×3×1

最低0.47元/天 解锁文章

200万优质内容无限畅学
《Long-Term Temporal Convolutions for Action Recognition》 论文翻译
qq_30501975的博客
06-18 3105
翻译，论文原文来自PAMI官方网站，原文链接 翻译人： 翻译时间：2018年6月10日14:39:18 并标记了一些重点。 目录 作者 摘要 关键词 介绍 相关工作 长时期卷积 网络架构 网络输入 学习 实验 数据集和评估指标 LTC网络参数的评估 光流量 数据增强 比较16帧和60帧网络 改变时间和空间分辨率 组合不同时态决议的网络 与最新技术的比较 三维...
论文笔记之Two-Stream Convolutional Networks for Action Recognition in Videos
加油
05-30 1388
双流网络的开篇之作，使用图像和光流两个分支训练，最终综合两个分支得到最终结果。 被NIPS 2014接收 论文地址：https://arxiv.org/abs/1406.2199 1. 摘要 我们研究了用于训练视频中行为识别的深度卷积网络架构。这个挑战是捕捉静态帧中的外观和连续帧间的运动的互补信息。我们也旨在推广这个在数据驱动的学习框架中表现得最好的手工特征。 本文一共做出了3个贡献： 首先，本文提出了一个two-stream卷积网络架构，这个架构由时间和空间网络构成。 然后，我们验证了，尽管是有限的.
文献阅读：Long-Term Temporal Convolutions（LTC）for Action Recognition
Jennifer_Love_Frank的博客
03-31 1370
本作者使用具有长期时间卷积 (LTC) 的神经网络来学习视频表示。证明了增加时间范围的LTC-CNN模型提高了动作识别的准确性。还研究了不同低级表示的影响，例如视频像素的原始值和光流矢量场，并证明了高质量光流估计对于学习准确动作模型的重要性。
Video you only look once: Overall temporal convolutions for action recognition论文解析
mieleizhi0522的博客
04-19 548
   论文地址： https://www.sciencedirect.com/science/article/pii/S1047320318300233?via%3Dihub    这两天读了一个关于视频中动作识别的论文，属于分类网络，就是将短视频中正在进行的是某个动作识别出来（一个视频只有一种动作），先说一下主要流程吧：     这个论文虚的很！特能吹！其实3页的内容写了整整八页，全TM是废话！...
"Action Recognition with Trajectory-Pooled Deep-Convolutional Descriptors"阅读小结
Mr_pan
05-28 3145
1、摘要： 本论文提出一种新的视频表示方法，称作轨迹池化-深度卷积描述符（TDD），共享手工制作的特征和深度学习特征。优点是：(1) TDDs是自动学习，并且与这些手工制作的特征相比具有高区分度的性能；(2) TDDs考虑时间维度的本质特征，介绍轨迹受限的采样和池化的策略加强深度学习特征。 2、介绍： Figure 1主要有两种类型的特征：手工制作的特征和深度学习特征。对于手工制
LTC: 用于动作识别的长期时间卷积
CV技术指南（微信公众号）
12-28 1070
Long-term Temporal Convolution for Action Recognition（2017） 主要贡献 1.提出长期时间卷积网络(LTC) 2.实现了在UCF-101（92.7%）和HMDB51（67.2%）数据集上行人动作识别的SOTA结果 作者认为将视频分成短片段并通过利用每个片段的得分来整合视频级的信息，或者更复杂的方案像LSTM，都可能是次优的。因此作者提出长期的时间卷积网络（LTC），即采用更长的时间片段作为输入，但为了降低计算量，LTC模型把空...
CVPR 2019 行为识别 相关论文
qq_36589469的博客
06-13 6421
CVPR2019 Action Recognition 相关论文 Video Action Transformer Network Abstract: We introduce the Action Transformer model for recognizing and localizing human actions in video clips. We repurpose a Trans...
一文了解通用行为识别ActionRecognition：了解及分类
binger520886的博客
08-19 3418
参考：https://zhuanlan.zhihu.com/p/103566134 本文目录： 一.行为识别背景 二.行为识别总结 三.接下来的安排 四.一些心得总结 一.背景 行为识别Action Recognition是指对视频中人的行为动作进行识别，即读懂视频。根据要处理的动作类别和真正要处理的任务不同，在各种情况下所说的行为识别的任务略有差异，首先对两组概念进行对比和区分： 1.Hand gesture， Action， Activity Hand gesture：集中于处理视频片段中单人的手势
Two-Stream Convolutional Networks for Action Recognition in Videos
hmoji
03-02 2332
Two-Stream Convolutional Networks for Action Recognition in Videos 1.背景 在传统的基于深度学习的行为检测中，视频常常被看做连续的图片，使用处理图片的方式来处理视频。这样的网络关注于空间特征却忽略了时间特征，有些时间特征明显而空间特征不明显的动作（如坐椅子）难以检测出来。在手工设计特征的时代，人们使用光流图（optical flow）来描述物体的运动信息，但是光流图抛弃了物体本身的静态特征（比如形状、颜色）。本文通过训练两个卷积网络，通过时
Two-Stream Convolutional Networks for Action Recognition in Videos读书笔记
fy_326983的博客
11-06 478
看完这篇文献已经好多天了，重新梳理一下双流Conv网络的读书笔记。仅个人见解，望大家指正交流。 行为识别是计算机视觉中一个非常重要的方向，无论是科学研究领域还是工业控制领域，都有极高的实用价值，对交通服务以及社交领域都有着极大的推动作用，在学习行为识别的过程当中，遇到了一系列的问题，比如如何在静态的图像和动态的过程之间捕获一种连接性的信息，让两者可以很好地联系起来。这篇文献对这个问题提出了一个很好的见解，介绍了一种双流卷积网络，来实现视频中的行为识别。 Character...
Spatial Temporal Graph Convolutional Networks
02-10
时空图卷积网络用于基于骨架的动作识别，Spatial Temporal Graph Convolutional Networks for Skeleton Based Action Recognition，2018年AAAI论文
译：Action Recognition with Improved Trajectories
MemoryHeroLi的博客
09-26 2424
改进轨迹的行动识别 摘要：最近，密集轨迹被证明是用于动作识别的有效视频表示，并且在各种数据集上实现了最先进的结果。本论文通过考虑相机的运动来纠正它们，从而改善了它们的性能。为了估计相机运动，我们使用SURF描述符和密集光流来匹配帧之间的特征点，这些特征点被证明是互补的。然后，这些匹配用于使用RANSAC稳健地估计单应性。人体运动通常与相机运动不同，并产生不一致的匹配。为了改进估计，使用人类检测器来...
【论文阅读】Long-term Temporal Convolutions for Action Recognition
zzmshuai的博客
12-18 2380
【论文阅读】Long-term Temporal Convolutions for Action Recognition 这篇论文之前，几乎所有的3D卷积网络的输入视频长度都很短，例如C3D、Res3D都只有16帧，那么长时输入视频对最终的结果有没有影响呢？所以本文探索了3D卷积网络输入视频的时长对识别效果的影响，发现输入视频时长越长，效果越好，从而提出了LTC 3D网络结构，同时文章评估了LTC...
时空图神经网络（Spatio-Temporal Graph Convolutional Networks，STGCN）原理与代码
mzm123321的博客
09-23 5851
时空图神经网络（Spatio-Temporal Graph Convolutional Networks，STGCN）原理与代码
TCN（Temporal Convolutional Network，时间卷积网络）
热门推荐
weixin_39910711的博客
05-10 10万+
1 前言 实验表明，RNN 在几乎所有的序列问题上都有良好表现，包括语音/文本识别、机器翻译、手写体识别、序列数据分析（预测）等。 在实际应用中，RNN 在内部设计上存在一个严重的问题：由于网络一次只能处理一个时间步长，后一步必须等前一步处理完才能进行运算。这意味着 RNN 不能像 CNN 那样进行大规模并行处理，特别是在 RNN/LSTM 对文本进行双向处理时。这也意味着 RNN 极度地计算密集，因为在整个任务运行完成之前，必须保存所有的中间结果。 ...
读书笔记29：A Closer Look at Spatiotemporal Convolutions for Action Recognition（CVPR2018）
b224618的博客
09-18 3315
http://openaccess.thecvf.com/content_cvpr_2018/papers/Tran_A_Closer_Look_CVPR_2018_paper.pdf 本文的摘要开门见山介绍自己的工作，没有背景介绍等铺垫，这和本文的动作内容也有关，本文不是对比前人工作，针对某些不足提出新模型，而是讨论了几种不同形式的spatial temporal convolution模型，...
PaperReading3-A Closer Look at Spatiotemporal Convolutions for Action Recognition
u010142666的博客
07-12 2923
今天我给大家介绍的这篇论文是关于研究视频动作识别的论文《A Closer Look at Spatiotemporal Convolutions for Action Recognition 》，论文主要提出了一种新的卷积的形式来处理这种时空信息，因为对于视频来说连续帧可以看作是一个立方体中放置了多个slice，而这多个slice就单独是2D空间上的信息，连在一起是3D时间上的信息，仅仅是采用2D...
Second-order Temporal Pooling for Action Recognition
heruili的博客
09-09 327
Cherian A, Gould S. Second-order temporal pooling for action recognition[J]. International Journal of Computer Vision, 2019, 127(4): 340-362. 基于视频的动作识别的深度学习模型通常为短视频片段(由几帧组成)生成特征;通过计算这些特性的统计数据，将这些剪辑级...
视频行为识别阅读[2]Temporal Segment Networks: Towards Good Practices for Deep Action Recognition[2016]
DavidZh
09-05 1269
[1]Temporal Segment Networks: Towards Good Practices for Deep Action Recognition[2016]（TSN网络） 介绍： (1)对于长序列的学习能力在理解视频行为上具有重要意义，但是主流的双流法和C3D通常只是聚焦于表面或者是短时间序列的学习（C3D的输入是连续的16帧，而双流法是依靠前后两帧计算出来的光流）。Lon...
Transformer-Based Spatio-Temporal Network for Human Action Recognition
最新发布
12-31
### 基于Transformer的空间时间网络在人体动作识别中的研究论文与实现 #### 研究背景与发展现状 近年来，随着深度学习技术的发展，基于Transformer架构的空间时间网络逐渐成为人体动作识别领域的重要方法之一。这类模型通过引入自注意力机制来捕捉视频序列中复杂的时空关系，显著提升了动作识别的效果。 #### 关键技术特点 - **多尺度特征提取**：利用卷积神经网络(CNNs)对输入帧进行初步处理，获取不同层次的视觉特征表示[^1]。 - **空间编码器**：采用标准的ViT(Visual Transformer)结构作为骨干网，在单个图像上构建强大的局部感知能力的同时保持全局理解力。 - **时间建模模块**：不同于传统的RNN/LSTM单元，这里设计了一种特殊的Temporal Encoder Layer用于表征相邻帧间的关系变化规律，从而增强对于动态行为的理解程度。 #### 实现框架概述 一种典型的基于Transformer的人体姿态估计方案可以概括如下： ```python import torch.nn as nn class SpatialTemporalTransformer(nn.Module): def __init__(self, num_classes=400): super(SpatialTemporalTransformer, self).__init__() # 定义CNN层以获得基础特征图谱 self.backbone = BackboneNet() # 构造一系列堆叠起来的时间维度上的transformer blocks self.temporal_transformers = nn.Sequential(*[ TemporalBlock() for _ in range(num_layers)]) # 分类头部分 self.classifier = ClassifierHead(num_classes) def forward(self, x): batch_size, seq_len, c, h, w = x.shape # 提取每帧的基础特征向量 features = [] for t in range(seq_len): feature_t = self.backbone(x[:,t,:,:,:]) features.append(feature_t.unsqueeze(dim=1)) spatial_features = torch.cat(features,dim=1) # 序列化后的数据送入temporal transformer做进一步加工 temporal_output = self.temporal_transformers(spatial_features) # 获取最终预测结果并返回 logits = self.classifier(temporal_output.mean(dim=1)) return logits ``` 此代码片段展示了如何定义一个简单的Spatio-Temporal Transformer模型来进行分类任务。实际应用时还需要考虑更多细节优化以及针对具体场景调整参数配置等问题。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值