本文介绍了一种全新的序列到序列学习方法，该方法采用卷积神经网络（CNN）而非传统的循环神经网络（RNN）。这种方法允许计算在序列元素上的完全并行化，并且可以通过堆叠多层卷积层来控制对输入序列最大长度的依赖。文章讨论了如何通过CNN创建层次化的输入表示，从而更高效地捕捉远程依赖。
摘要：序列到序列学习的流形方法映射输入序列到一个变长输出序列通过循环神经网络。我们引入一个完全依赖于卷积神经网络的架构。和循环模型相比，所有元素计算可以并行化更好利用GPU并且当非线性的两固定并不依赖于输入长度时更容易优化。
简介：
和循环层相比，卷积层对固定大小内容产生表达，网络可以用过用堆积层来扩大有效的内容大小。这允许去更精确地控制依赖的最大长度。卷积网络不依赖于之前时间步的计算因此允许在序列中每个元素的并行化。和RNN对比，维持一个完整过去的隐藏状态其防止使用序列的并行计算。
多层卷积网络创造了层次表达在输入序列上，近的输入元素和更低层交互，远的元素和更高的层交互。层次结构提供了一个更短的路径去捕获远程依赖，和训练网络建立的链式结构相比。我们可以得到特征表达其不活了一个n个词的床空的关系通过应用O（n/k）的卷积操作对于核宽度k，而循环网络需要O(N). 输入
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
