kakak_的博客

GRU（Gate Recurrent Unit）是循环神经网络（Recurrent Neural Network, RNN）的一种。和LSTM（Long-Short Term Memory）一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。GRU（2014年提出）LSTM（1997提出）相比LSTM，使用GRU能够达到相当的效果，并且相比之下更容易进行训练，能够很大程度上提高训练效率GRU的输入输出结构与普通的RNN是一样的。在LSTM中引入了三个门函数：输入门、遗忘门和.

编码器-解码器 (Encode-Decode) 结构：将输入序列编码成一个固定长度的向量表示，对于长度较短的输入序列而言，该模型能够学习出对应合理的向量表示。然而，这种模型存在的问题在于：当输入序列非常长时，模型难以学到合理的向量表示。Attention机制打破了传统编码器-解码器结构在编解码时都依赖于内部一个固定长度向量的限制。通过保留LSTM编码器对输入序列的中间输出结果，然后训练一个模型来对这些输入进行选择性的学习并且在模型输出时将输出序列与之进行关联。（将encoder的每一个隐藏状态设.

由于网络参数过多，训练数据少，或者训练次数过多，会产生过拟合的现象。dropout是神经网络中避免过拟合最有效的正则化方法dropout 每一层的神经元按照不同的概率进行dropout，这样每次训练的网络都不一样，对每一个的batch就相当于训练了一个网络，dropout本质是一种模型融合的方式，当dropout设置为0.5时，模型总类最多为2^n, 另外在更新参数时，只对保留的神经元进行更新，也能加快训练速度。传统的dropout在rnn中使用的效果不是很好，因为rnn有放大噪音的功能，所以会反过.

RNN（recurrent neural network，循环神经网络)当处理与事件发生的时间轴有关系的问题时，比如自然语言处理，文本处理，文字的上下文是有一定的关联性的；时间序列数据，如连续几天的天气状况，当日的天气情况与过去的几天有某些联系。在考虑这些和时间轴相关的问题时，传统的神经网络就无能为力了，因此就有了RNN。递归神经网络（RNN）是两种人工神经网络的总称。一种是时间递归神经网络（recurrent neural network），另一种是结构递归神经网络（recursive neural

from gensim.models import word2vecsentences: 要分析的语料，可以是一个列表，或者从文件中遍历读出。size: 词向量的维度，默认值是100。如果是不大的语料，比如小于100M的文本语料，则使用默认值一般就可以了。如果是超大的语料，建议增大维度。window：即词向量上下文最大距离，window越大，则和某一词较远的词也会产生上下文关系。默认值为5。sg: 即word2vec两个模型的选择。如果是0， 则是CBOW模型，是1则是Skip-Gram模型，默认