RNN、LSTM和GRU的简单介绍

1、RNN（Recurrent Neural Network，循环神经网络）

1.1为什么会有RNN的出现？
  因为以往的神经网络都只能单独的取处理一个个的输入，前一个输入和后一个输入是完全没有关系的。但是现实生活中很多情况是，这一个的输入需要参照前面一个的输入的.
  比如，当我们在理解一句话意思时，孤立的理解这句话的每个词是不够的，我们需要处理这些词连接起来的整个序列； 当我们处理视频的时候，我们也不能只单独的去分析每一帧，而要分析这些帧连接起来的整个序列。（用联系的眼光去看待各个神经元，而不是孤立而片面地去看待每个神经元）

1.2RNN的结构？

这个网络在t时刻接收到输入xt之后，隐藏层的值是 st，输出值是Ot。关键一点是， st的值不仅仅取决于xt，还取决于 s(t-1) 。我们可以用下面的公式来表示循环神经网络的计算方法：

用公式表示如下（为了方便理解，没有加入偏置b）：

2、LSTM（Long Short Term Memory networks