本文介绍了循环神经网络（RNNs）如何通过信息循环保持长期依赖，以及长短期记忆网络（LSTM）如何通过门机制解决长依赖问题。LSTM因其特殊结构在语音识别、自然语言处理等领域表现出色，尤其在处理涉及长距离上下文关联的任务时效果显著。
循环神经网络（Recurrent Neural Networks）
人对一个问题的思考不会完全从头开始。比如你在阅读本片文章的时，你会根据之前理解过的信息来理解下面看到的文字。在理解当前文字的时候，你并不会忘记之前看过的文字，从头思考当前文字的含义。
传统的神经网络并不能做到这一点，这是在对这种序列信息（如语音）进行预测时的一个缺点。比如你想对电影中的每个片段去做事件分类，传统的神经网络是很难通过利用前面的事件信息来对后面事件进行分类。
而循环神经网络（下面简称RNNs）可以通过不停的将信息循环操作，保证信息持续存在，从而解决上述问题。RNNs如下图所示
可以看出A是一组神经网络（可以理解为一个网络的自循环），它的工作是不停的接收Xt
并且输出Ht。从图中可以看出A允许将信息不停的再内部循环，这样使得它可以保证每一步的计算都保存以前的信息。
这样讲可能还是有点晕，更好的理解方式，也是很多文章的做法，将RNNs的自循环结构展开，像是将同一个网络复制并连成一条线的结构，将自身提取的信息传递给下一个继承者，如下图所示。
这种链式的结构揭示了
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
