【引用转载】TCN论文白话解读

引用转载白少杰博士（Jerry Bai. Carnegie Mellon University）等2018年论文“在序列建模问题上对通用卷积网络和循环网络的经验评估”

点我阅读论文原文

如有侵权请留言联系，秒删

Part 1
论文摘要，介绍，最后结论部分：
白少杰博士等人问题灵感启发来源：现有的卷积神经网络在机器翻译，音频合成序列处理任务上较循环网络有着出色的表现。

那么问题推广到其他序列处理任务场景或者其他数据集上呢？

通过实验，该论文的作者们发现采用自己提出的时间卷积网络（TCN）使用控制变量法，基于同一性能评判指标下，在诸多数据集和不同序列建模任务下完爆循环神经网络（LSTM,GRU）

值得一提的是：结论部分：作者指出，循环神经网络随着时间的推进，历史遗留的序列数据几乎无影响，RNNs的优势“无限记忆”在实践中基本上是缺失的。TCN在同等表现能力下展现出了更久远的记忆能力，并且TCN较RNN更加简洁明了。作者希望他们的工作能够推广、商业化，他们相信TCN能作为现有的序列问题处理的起点基础工具库。

结论部分涉及到的细节：文中提到的一个简单的TCN采用空洞卷积dilations 和 残差连接residual connections均是卷积神经网络较常见的技术，因果卷积部分，用于解决本文的自回归预测问题。

附上githubTCN开源代码链接：TCN源码来自卢卡斯实验室白少杰等人

Part2
背景知识TCN介绍部分：因果卷积约束条件：输出Y，输入X，序列建模满足映射：

如果yt满足：yt由过去的输入x0…xt决定，且不由未来的输入xt+1…xT决定，那么称yt满足因果卷积约束条件。

TCN = 1D FCN + causal convolutions
TCN:1维全卷积层网络加上因果卷积
由此TCN有2个原则特性：网络产生的输出长度同输入长度；满足上述的因果卷积约束条件。