【深度学习笔记整理-6.2】循环神经网络：SimpleRNN

在之前的文章中，我们使用全连接神经网络解决了很多的问题，但是，这种解决问题的神经网络是不考虑顺序的，对于渐进式的，有顺序的数据，全连接神经网络往往不如循环神经网络的效果更好。

循环神经网络的最初想法，就是在全连接网络的基础之上，考虑前一层的数据，我们知道，全连接神经网络本质就是一堆非线性函数的叠加，其式子如下

若输入为128维的向量，下一层隐藏层为64维，则U为64*128的矩阵，其中128列与对应的128维相乘，64行中每一行的数值实际上就是128维与下一层第i行相连的权重向量。

循环神经网络最初的想法，就是在这个基础之上，加上上一层经过变换后的向量，即