深度学习RNN

只记得我在一个昏暗潮湿的地方喵喵地哭泣着。

——夏目漱石《我是猫》

到目前为止，我们看到的神经网络都是前馈型神经网络。前馈（feedforward）是指网络的传播方向是单向的。具体地说，先将输入信号传给下一层（隐藏层），接收到信号的层也同样传给下一层，然后再传给下一层……像这样，信号仅在一个方向上传播。

虽然前馈网络结构简单、易于理解，而且可以应用于许多任务中。不过，这种网络存在一个大问题，就是不能很好地处理时间序列数据（以下简称为“时序数据”）。更确切地说，单纯的前馈网络无法充分学习时序数据的性质（模式）。于是，RNN（Recurrent Neural Network，循环神经网络）便应运而生。

小结：RNN出现的目的就是：处理前馈型神经网络不能解决的问题--时序数据，说人话就是单方面的恋爱几乎没有结果，可怜了一厢情愿的痴儿；这时候，感情大师RNN出现啦，大哥帮痴儿解决一下单相思的缺限，两情若是长久时，又岂在朝朝暮暮？

本章我们将指出前馈网络的问题，并介绍 RNN 如何很好地解决这些问题。然后，我们会详细解释 RNN 的结构，并用 P