TCN：An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling

已于 2023-07-04 12:16:05 修改
阅读量172 收藏
点赞数
分类专栏： 时空图预测交通领域 复杂系统 Pytorch学习笔记 文章标签： 算法 深度优先
于 2023-07-04 12:14:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43057295/article/details/131532308
版权
本文介绍了针对序列建模任务的卷积网络方法——TCN，通过因果卷积和扩张卷积解决长期依赖问题，同时采用残差连接确保网络稳定性。TCN在处理长序列预测时，通过膨胀卷积扩大感受野，减少了网络深度需求。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

TCN：An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling

在这里插入图片描述

原文出处

代码

由于RNN及LSTM不能有效的处理长期时间序列的局限本文基于卷积网络提出一种新型方法TCN，有效的证明其有效性；

针对任务：

Sequence Modeling

给定一个输入序列

了解本专栏 订阅专栏 解锁全文
【深度学习】TCN，An Empirical Evaluation of Generic Convolutional【一】
q742971636的博客
06-16 1030
对于大多数深度学习从业者来说，序列建模几乎是循环网络的同义词。然而，最近的研究结果表明，在音频合成和机器翻译等任务上，卷积架构可以超越循环网络。面对新的序列建模任务或数据集时，应该选择哪种架构呢？我们对通用的卷积和循环架构进行了系统评估。模型在一系列常用于基准测试循环网络的标准任务上进行了评估。我们的结果表明，简单的卷积架构在多种任务和数据集上优于经典的循环网络（如LSTMs），并表现出更长的有效记忆。我们得出结论，序列建模与循环网络的常见关联应重新考虑，卷积网络应被视为序列建模任务的自然起点。
论文笔记：An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling
travalscx的博客
04-23 853
An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling 相关知识： FCN https://blog.youkuaiyun.com/tuuzhang/article/details/81004731 causal convolution Dilated Convolutions ...
学习笔记：“一种对于序列模型的卷积与循环网络的通用性评价”
zpj1997的博客
12-01 645
An Empirical Evaluation of Generic Convolutional and Recurrent Networksfor Sequence Modeling
[论文总结]An Empirical Evaluation of Generic Convolution and Recurrent Networks For Sequence Modeling
weixin_42676396的博客
11-03 662
1. 提出的 Causal Dilated Conv + Residual Block 比基本的 LSTM、GRU 和 Vanilla RNN 的性能要好得多。 2.确认TCN比RNN家族表现出更长的记忆保留，确认RNN的“无限记忆”几乎没有实验结果。
An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling
a1424262219的博客
05-16 1391
An Empirical Evaluation of Generic Convolutional and Recurrent Networksfor Sequence ModelingOriginal time: 2018-05-1616:09:15 Updated on2019-09-2710:26:42 Paper:https://arxiv.org/pd...
An Empirical Evaluation of Generic Convolutional and Recurrent Networksfor Sequence Modeling
qq_59482564的博客
12-18 1220
对于大多数 深度学习研究者而言，序列建模任务等价于RNN。但是最近的研究表明，在音频合成以及机器翻译等任务上，CNN的表现胜过RNN。对于新的序列建模任务，RNN还是CNN，该如何选择？作者通过对用于RNN性能的标准任务来评估CNN的性能。结果证实，简单的CNN结构在不同的任务以及数据集上的性能优于LSTM这类典型的RNN模型。作者认为，应该重新考虑序列任务与RNN、CNN之间的联系，甚至是将CNN作为序列建模任务的起点。（作者在文中将其记做TCN）
【论文阅读】An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling
m0_51324446的博客
02-10 4132
1.摘要 一般而言，序列模型与循环网络（recurrent networks）关系紧密(由于RNN的循环自回归结构能较好地表达出时间序列)。而传统的卷积网络（convolutional networks）由于卷积核大小的限制，对于长时间的依赖信息不能较好地抓取。 但是，研究发现，一些特殊的卷积神经网络模型在音频合成、机器翻译等任务上效果比递归神经网络更好。那么，对于一个新的任务，怎么选取网络结构呢？ 本文使用大量数据集对模型进行评估，发现简单的卷积结构在数据集的表现优于典型的循环网络（如LSTMs），
An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling--论文阅读
熊熊小姐的博客
12-11 1812
An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling–论文阅读笔记 论文地址：https://arxiv.org/pdf/1803.01271.pdf TCN详解：TCN详解 尽管循环神经网络具有长期记忆的能力，但是CNN架构（文中的TCN）表现出更加长期的记忆能力. 1.1. Temporal Convolutional Networks 首先描述卷积序列预测的一般架构。
【论文阅读笔记】An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modelin
时光机 °的博客
01-29 1211
论文地址：An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling 代码地址：https://github.com/LOCUSLAB/tcn 论文总结   本文的方法名为TCN，本文没提出什么新的东西，主要是使用Causal Conv，Dilated Conv和residual block对时序序列进行预测，同时与传统的时序模型LSTM等循环和递归网络结构进行对比。然后在多个不同
【深度学习论文阅读】TCN:An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence
热门推荐
Ray
05-03 1万+
2018年人工智能十佳论文之一：TCN 论文地址：An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling 项目地址：TCN的github链接 ABSTRACT 对于大多数 深度学习研究者而言，序列建模任务等价于RNN。但是最近的研究表明，在音频合成以及机器翻译等任务...
【神经网络】2018-ML-用于序列建模的通用卷积和循环网络的实证评估
weixin_42475026的博客
03-20 673
对于大多数深度学习从业者来说，序列建模是循环网络的同义词。然而最近的结果表明，卷积架构在音频合成和机器翻译等任务上的表现优于循环网络。给定一个新的序列建模任务或数据集，应该使用哪种架构？ 我们对用于序列建模的通用卷积和循环架构进行了系统评估。这些模型在广泛的标准任务中进行评估，这些任务通常用于对循环网络进行基准测试。我们的结果表明，简单的卷积架构在各种任务和数据集上都优于典型的循环网络，例如 LSTM，同时展示了更长的有效记忆。
因果卷积（causal）与扩展卷积（dilated）之An Empirical Evaluation of Generic Convolutional and Recurrent Networks f
01-08 1045
最近在看关于NLP（自然语言处理）方面的文章，（其实不是自己要看），anyway，看了一个“An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling“，讲到了：虽然人们现在都在用RNN和LSTm去处理序列问题（sequencemodeling），但是明显最近几年这些模...
An Empirical Evaluation of Generic Convolutional and Recurrent Networks(中文版+注释)（时序预测）（TCN时域卷积网络）
qq_42194429的博客
06-11 3162
一般卷积和递归网络的经验评价 摘要 对于大多数深度学习从业者来说，序列建模是循环网络的代名词。然而，最近的结果表明，卷积架构可以优于音频合成和机器翻译等任务的循环网络。给定新的序列建模任务或数据集，应该使用哪个架构？我们对用于序列建模的通用卷积结构和递归结构进行了系统的评估。这些模型在广泛的标准任务范围内进行评估，这些标准任务通常用于对循环网络进行基准测试。我们的结果表明，简单的卷积体系结构优于规范循环网络，例如在各种任务和数据集中的LSTMS，同时展示更长的有效内存。我们的结论是，序列建模和递归网络之
论文阅读(通用CNN和RNN建模的经验评估)
暮木的博客
01-15 732
论文 An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling 摘要 最近的一些研究表明卷积神经网络在像语音合成以及机器翻译的任务上超过了循环神经网络。给定一个新的序列建模任务或者数据集，应该选用哪种架构，简单的卷积体系结构在各种任务和数据集上的表现优于常规递归网络（如LSTM），同时表现出更长的有效内存。我们得出结论，应该重新考虑序列建模与递归网络之间...
An Empirical Exploration of Recurrent Network Architectures重点
kaka19880812的专栏
03-18 1759
RNN最优结构
TricorNet: A Hybrid Temporal Convolutional and Recurrent Network for Video Action Segmentation 翻译
nclgsj1028的专栏
03-12 1350
本博文是对论文的翻译，如有不准确，请在评论中指出TricorNet: A Hybrid Temporal Convolutional  and Recurrent Network for Video Action Segmentation一种用于视频动作分割的时间卷积和递归混合网络关键词：hybrid temporal convolutional and recurrent network  混合...
时间卷积网络TCN：CNN也可以处理时序数据并且比LSTM更好
deephub
09-13 1万+
本文回顾了 Shaojie Bai、J. Zico Kolter 和 Vladlen Koltun 撰写的论文：An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling。 在 TCN 之前，我们经常将 LSTM 和 GRU 等 RNN 关联到新的序列建模任务中。 然而，论文表明 TCN（时间卷积网络）可以有效地处理序列建模任务，甚至优于其他模型。 作者还证明了 TCN 比 LST
TCN的原始论文
最新发布
04-17
<think>好的，用户想找TCN（时间卷积网络）的原始论文。首先，我需要确认TCN的原始论文是哪一篇。根据用户提供的引用内容，引用[2]提到TCN是由作者在某个时间提出的，用于序列建模，并比较了CNN与RNN、LSTM等的效果。但引用中没有直接给出论文标题或作者。 接下来，我需要回想一下TCN的相关信息。TCN通常与《An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling》这篇论文相关联，作者是Shaojie Bai、J. Zico Kolter和Vladlen Koltun，发表于2018年。这可能就是用户要找的原始论文。此外，用户提到的引用[3]提到论文获得了ACL 2018的最佳短文奖，但ACL通常处理自然语言处理，而TCN的论文可能发表于其他会议，比如ICML或arXiv预印本，需要确认。 可能用户混淆了不同的会议，或者引用[3]指的是另一篇相关论文。因此，需要指出可能的原始论文，并建议用户核对作者和会议信息。同时，提供arXiv链接方便用户访问，因为很多论文会先发布在那里。此外，生成相关问题帮助用户进一步了解TCN的结构和应用，如比较TCN与RNN、TCN的核心组件等。</think>TCN（Temporal Convolutional Network）的原始论文通常被认为是2018年由Shaojie Bai等人发表的《An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling》。这篇论文系统地提出了TCN的网络架构，并通过实验验证了其在序列建模任务中优于传统RNN、LSTM等模型的性能[^2]。 论文核心内容包括： 1. **因果卷积**（Causal Convolution）保证时序依赖关系不泄漏 2. **膨胀卷积**（Dilated Convolution）扩大感受野 $$ y_t = \sum_{k=0}^{K-1} w_k \cdot x_{t-d \cdot k} $$ 其中$d$为膨胀系数，$K$为卷积核大小 3. **残差连接**（Residual Connection）解决深层网络梯度消失问题[^2] 该论文最初发布于arXiv预印本平台： https://arxiv.org/abs/1803.01271
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值