上帝是个娘们的博客

函数class torch.nn.LSTM(*args, **kwargs)参数列表input_size：x的特征维度hidden_size：隐藏层的特征维度num_layers：lstm隐层的层数，默认为1bias：False则bih=0和bhh=0. 默认为Truebatch_first：True则输入输出的数据格式为 (batch, seq, feature)dropou...

结构1. RNN与LSTM的对比RNN:LSTM:其中的notation：这里要注意：上图中四个黄框，每一个都是普通的神经网络，激活函数就是框上面所标注的。通过对比可以看出，RNN的一个cell中只有一个神经网络，而LSTM的一个cell中有4个神经网络，故一个LSTM cell的参数是一个RNN cell参数的四倍。从上图也可以看出，原来的一个RNN cell只需要存储一个...

一些参数训练的话一般一批一批训练，即让batch_size 个句子同时训练；每个句子的单词个数为num_steps，由于句子长度就是时间长度，因此用num_steps代表句子长度。在NLP问题中，我们用词向量表示一个单词（一个数基本不能表示一个词，大家应该都知道的吧，可以去了解下词向量），我们设定词向量的长度为wordvec_size。LSTM结构中是一个神经网络，即下图的...

函数原型tf.nn.dynamic_rnn( cell, inputs, sequence_length=None, initial_state=None, dtype=None, parallel_iterations=None, swap_memory=False, time_major=False, scope=Non...

Seq2Seq and Attention参考文献[1] Cho 在 2014 年在论文《Learning Phrase Representations using RNN Encoder–Decoderfor Statistical Machine Translation》中提出 Encoder–Decoder 结构[2] Sutskever et al 2014年在论文 《Sequen...