weixin_43535573的博客

递归神经网络（RNN,Recurrent Neural Networks）在自然语言处理中有着非常重要的应用。本文旨在对RNN做简单介绍，帮助入门小白初识RNN。 1 传统神经网络在NLP应用的局限性 传统神经网络的输入与输入之间是独立的，彼此不产生任何联系。但是在自然语言处理中，我们得到的结果是和之前输入的值有关系的。例如，我们说一句话：“我出生在中国，所以我说汉语。”我们可以看到，这句话前后...

为了解决RNN的一些缺点，RNN与LSTM对比。 LSTM具体实现思路如下： (1)C：控制参数 决定什么样的信息会被保留什么样的会被遗忘 丢弃的信息： 先把当前节点的输入和之前记忆的输入传递进来，然后通过sigmod函数组合起来后得到的函数值（0,1）之间，然后再跟Ct-1组合，决定丢弃什么信息。Ct是永远更新维护的值。 (2)保留的信息 (3)更新控制参数 根据旧的控制参数Ct-1和新...