本文深入介绍了循环神经网络（RNN）的基础知识，包括其工作原理、如何处理序列信息以及在语言模型中的应用。RNN通过隐藏层的状态传递实现对历史输入的记忆，但存在梯度消失问题。为解决这一问题，文章提到了初始化权重、使用ReLU激活函数以及LSTM和GRU等结构。此外，还讨论了RNN的前向计算、误差项计算和权重梯度计算过程，并简要阐述了向量化处理和输出层的softmax函数。最后，文章提及了RNN在训练时使用的BPTT算法。
学习原文在此，但是讲解RNN入门最好的三篇文章在知乎：一、一文搞懂RNN（循环神经网络）基础篇；二、循环神经网络（RNN）为什么能够记忆历史信息；三、浅析循环神经网络RNN的两种应用。
这篇也可以参考：如何深度理解RNN？——看图就好！
全连接神经网络和卷积神经网络，他们都只能单独的取处理一个个的输入，前一个输入和后一个输入是完全没有关系的。但是，某些任务需要能够更好的处理 序列 的信息，即前面的输入和后面的输入是有关系的。
由此引出：循环神经网络(Recurrent Neural Network)。RNN
语言模型就是这样的东西：给定一个一句话前面的部分，预测接下来最有可能的一个词是什么。
x是一个向量，它表示输入层的值；s是一个向量，它表示隐藏层的值；U是输入层到隐藏层的权重矩阵。o也是一个向量，它表示输出层的值；V是隐藏层到输出层的权重矩阵。循环神经网络的隐
最低0.47元/天 解锁文章
扫一扫
36万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
