Temporal Convolutional Networks for Action Segmentation and Detection论文阅读笔记

最新推荐文章于 2025-04-10 09:29:14 发布
最新推荐文章于 2025-04-10 09:29:14 发布
阅读量3.4k 收藏 10
点赞数 1
分类专栏： 论文学习 文章标签： 论文学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Hia_Hia_Hia/article/details/83014688
版权

IEEE, 2016

 

现有的动作识别问题基本分为三种，（1）用滑动窗口来检测动作（2）用分段模型将视频分为多段再识别每段的动作（3）循环模型。（1）没有捕捉长范围的时序信息（2）没有考虑段间关系（3）关注范围有限且难以训练。

 

由此，作者提出了两种TCN模型：

（1）ED-TCN：使用编码解码结构，只用了卷积、池化和上采样，但能够有效捕捉长范围的时序信息，并且层数相对较少，但每层包含一组长卷积核。

（2）Dilated TCN：不使用池化和上采样，而使用空洞卷积，并在层间加入skip connection。这个模型是对WaveNet的改进，与ED-TCN也有相同点，但这个模型是为语音处理问题设计的。Dilated TCN的层数更多，但每层的空洞卷积的时间步很小。

 

两种TCN结构都能捕捉分段模型的特征，如动作持续时间，片段之间的转换和类似于循环模型的长范围的时序信息。两种TCN结构的特性有：

（1）计算是按层执行的，每个时间步同时更新，而不是按帧顺序更新；

（2）卷积是随着时间计算的；

（3）每帧的预测是固定长度的时间（被称为感受野）的函数

TCN的输入是一组视频特征（如CNN的输出）

 

ED-TCN结构：

最低0.47元/天 解锁文章
Temporal Convolutional Networks for Action Segmentation and Detection论文及keras代码
m0_37859875的博客
12-06 1545
Temporal Convolutional Networks for Action Segmentation and Detection论文及代码
Temporal Convolutional Networks 时序卷积网络 学习笔记
Neveer的博客
07-07 6345
1.Human Action Recognition using Factorized Spatio-Temporal Convolutional Networks ICCV2015 把时序数据的三维卷积分解成先2维空间卷积 （spatial convolutional layer）， 再1维的时间卷积（temporal convolutional layers）。 视频片段切割：...
Temporal Convolutional Networks for the Advance Prediction of ENSO
m0_37859875的博客
12-06 752
Temporal Convolutional Networks for the Advance Prediction of ENSO
TCN（Temporal Convolutional Network，时间卷积网络）
最新发布
weixin_63052030的博客
04-10 829
它通过因果卷积（Causal Convolution）和膨胀卷积（Dilated Convolution）*结合残差连接（Residual Connections），解决了传统循环神经网络（RNN）在长序列任务中的梯度消失、并行计算困难等问题。*传统循环神经网络（RNN）：通过循环更新的隐藏状态将历史信息传递到当前时间步，使当前输出同时依赖当前输入和之前时刻的隐状态，从而实现对序列数据的时序建模。例如，卷积核仅覆盖当前及之前的时间步。：与RNN的顺序处理不同，TCN的卷积操作可并行化，显著加速训练和推理。
时域卷积网络（Temporal Convolutional Network，TCN）
z2014z的博客
04-13 1万+
TCN基本结构 时域卷积网络（Temporal Convolutional Network，TCN）由Shaojie Bai et al.在2018年提出的，可以用于时序数据处理，详细内容请看论文。 1.因果卷积（Causal Convolution） [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-28ptyiiH-1618306487421)(https://www.programmersought.com/images/924/23daba19db5473ff38fb97
论文阅读——Temporal Convolutional Attention-based Network For Sequence Modeling
liuy9803的博客
03-12 8080
https://arxiv.org/pdf/2002.12530.pdf 代码：https://github.com/haohy/TCAN 用于序列建模的基于注意力的时序卷积网络 作者提出一种时序卷积注意力网络 Temporal Convolutional Attention-based Netword（TCAN），包括两部分：Temporal Attention（TA）捕捉序列内部的...
TCN(Temporal Convolutional Networks)时序卷积网络详解及代码
zhulewen的博客
10-14 6827
TCN(Temporal Convolutional Networks)时序卷积网络详解及代码
【论文阅读笔记】NeurIPS2020文章列表Part1
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 6229
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
【阅读笔记】（语义分割最全总结，综述）《A Review on Deep Learning Techniques Applied to Semantic Segmentation》
ShuqiaoS的博客
02-20 7822
本文记录了博主阅读论文《A Review on Deep Learning Techniques Applied to Semantic Segmentation》的笔记。更新于2019.2.19。
【论文精读】时间卷积网络（Temporal Convolutional Networks，TCN）
qq_43538018的博客
11-12 1555
在视频中，识别和实时分割细粒度的人类行为/动作，对于机器人、监控、教育等领域至关重要。典型的方法是首先从视频帧中提取局部时空特征，然后将它们输入时间分类器中捕获高层时间模式。本文介绍了一种新的时间模型，称为时间卷积网络（Temporal Convolutional Networks, TCN），使用时间卷积来实现细粒度的动作分割或检测。编码器-解码器TCN（ED-TCN）使用池化和上采样来捕获长距离时间模式，膨胀TCN使用膨胀卷积。
Spatial Temporal Graph Convolutional Networks
02-10
时空图卷积网络用于基于骨架的动作识别，Spatial Temporal Graph Convolutional Networks for Skeleton Based Action Recognition，2018年AAAI论文
A Closer Look at Spatiotemporal Convolutions for Action Recognition
04-21
Spatiotemporal ConvolutionsSpatiotemporal ConvolutionsSpatiotemporal ConvolutionsSpatiotemporal ConvolutionsSpatiotemporal ConvolutionsSpatiotemporal ConvolutionsSpatiotemporal ConvolutionsSpatiotemporal ConvolutionsSpatiotemporal ConvolutionsSpatiotemporal Convolutions
图示时序卷积网络(Temporal Convolutional Networks)结构与过程
weixin_42410798的博客
05-19 5944
卷积网络(Convolutional Neural Network, CNN)过去广泛应用于图像领域, 最近有工作发现, 经过改造的 CNN 可以高效完成序列(sequence)建模与预测. 本文详细说明了时序卷积网络(Temporal Convolutional Network, TCN)中的基本块(block)结构, 并且借助开源时间序列预测库 Darts, 用 TCN 实现在真实数据集上的准确预测.
TCN（Temporal Convolutional Networks）详解
热门推荐
weixin_57726558的博客
08-08 4万+
文章介绍了一种时序预测算法TCN（时域卷积网络）利用因果卷积和残差模块等，使得模型能更好的捕捉时序数据局部依赖关系以及稳定的梯度传播，与RNN相比有不同的优缺点；文中还对一维卷积做了简单介绍，以便初学这能更好的学习和了解，并附带详细代码示例。
TricorNet: A Hybrid Temporal Convolutional and Recurrent Network for Video Action Segmentation 翻译
nclgsj1028的专栏
03-12 1346
本博文是对论文的翻译，如有不准确，请在评论中指出TricorNet: A Hybrid Temporal Convolutional  and Recurrent Network for Video Action Segmentation一种用于视频动作分割的时间卷积和递归混合网络关键词：hybrid temporal convolutional and recurrent network  混合...
Temporal Action Detection (时序动作检测)方向2017年会议论文整理
Will Lin的博客
11-29 5825
2017年马上要过去，自己也在时序动作检测这个方向正好做了一年时间，所以最近整理了一下今年各大视觉会议上（CVPR，ICCV，ACMMM，BMVC，AAAI等）时序动作检测这个方向的论文，供大家参考。关于Temporal Action Detection (Localization) 时序动作检测这一方向的介绍，可以见我之前的专栏文章： Video Analysis 相关领域解读之Temporal
Interpretable 3D Human Action Analysis with Temporal Convolutional Networks
iamjingong的博客
04-09 1559
综述 3D人体动作识别的现代深度模型的鉴别力越来越强。随着最近3D人体骨骼动作再现技术的复兴，3D人体骨骼动作再现技术的质量和发展速度都有了长足的进步。然而，基于最先进的学习方法的内部工作原理在三维人体动作识别中仍然主要是黑盒子。在这项工作中，我们提出使用一种新的模型称为时间卷积神经网络(TCN)用于三维人体动作识别。与目前流行的基于lstm的递归神经网络模型相比，TCN为我们提供了...
时间卷积网络TCN：时间序列处理的新模型
deephub
08-21 2万+
这篇文章回顾了基于TCN的解决方案的最新创新。我们首先介绍了一个运动检测的案例研究，并简要回顾了TCN架构及其相对于传统方法的优势，如卷积神经网络(CNN)和递归神经网络(RNN)。然后，我们介绍了一些使用TCN的应用，包括改进交通预测，声音事件定位和检测，以及概率预测。 简单回顾一下TCN Lea等人(2016)的开创性工作首次提出了用于基于视频的动作分割的时间卷积网络(tns)。这个传统的过程包括两个步骤:第一，使用(通常)编码时空信息的CNN计算低级特征;第二，使用(通常)RNN将这些低级特征输入到一
Temporal Convolutional Networks (TCN)的网络结构
03-13
### Temporal Convolutional Networks (TCN) 架构 TCN是一种强大的深度学习架构，能够处理任意长度的输入序列并生成相应长度的输出序列[^1]。这种特性使得TCN在网络中可以利用非常深远的历史数据来进行预测。 #### 膨胀卷积与残差连接 为了实现这一目标，TCN采用了膨胀卷积（Dilated Convolutions）以及残差层（Residual Layers）。膨胀卷积允许网络在不增加参数数量的情况下扩大感受野，从而覆盖更长时间范围内的上下文信息。而残差连接则有助于构建更深的网络结构，缓解梯度消失问题，提高训练效率和效果。 ```python import torch.nn as nn class TCNBlock(nn.Module): def __init__(self, n_inputs, n_outputs, kernel_size, stride, dilation, padding, dropout=0.2): super(TCNBlock, self).__init__() self.conv1 = nn.Conv1d(n_inputs, n_outputs, kernel_size, stride=stride, padding=padding, dilation=dilation) self.bn1 = nn.BatchNorm1d(n_outputs) self.dropout1 = nn.Dropout(dropout) self.net = nn.Sequential(self.conv1, self.bn1, nn.ReLU(), self.dropout1) self.downsample = nn.Conv1d( n_inputs, n_outputs, 1) if n_inputs != n_outputs else None self.relu = nn.ReLU() def forward(self, x): out = self.net(x) res = x if self.downsample is None else self.downsample(x) return self.relu(out + res) ``` 此代码片段展示了如何定义一个基本的TCN模块，其中包括了膨胀卷积操作及其后的批标准化、激活函数应用及dropout机制来防止过拟合现象的发生。此外还实现了跳跃链接以支持深层网络的学习过程。 #### 时间维度上的滑动窗口 不同于传统的RNN系列模型依靠递归单元间的状态传递来捕捉时间动态特征的方式，TCN则是通过沿着时间轴方向移动的小型局部滤波器——即所谓的“滑窗”——提取模式。这种方法不仅简化了计算流程而且提高了并行化程度，在实际应用场景下往往能带来更好的性能表现[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值