循环神经网络实践

循环神经网络实践

一、TensorFlow LSTM 有用的类和方法

• 本部分，我们将学习搭建 LSTM 层的主要方法和类，并且还会将其用在实例中。
• tf.nn.rnn_cell.BasicLSTMCell 类
• 这是一个最简单的 LSTM 循环神经网络的元胞，仅仅带一个遗忘门，而不带其他的新颖的特征，如窥视孔(peepholes)。窥视孔的作用在于让各种门可以观察到元胞的状态。参数如下：
  
  • num_units: 整型变量，LSTM cell 的数目；
  • forget_bias: 浮点型变量，偏差(默认为 1)。该参数作用于遗忘门，用于第一次迭代中减少信息的损失。
  • activation: 是内部状态的损失函数(默认值为 tanh)。

• MultiRNNCell (RNNCell) 类
• 在本例中，我们会有多个元胞来记住历史信息，所以我们会级联式堆积多个元胞。因此，需要 MultiRNNCell 类，MultiRNNCell(cells,state_is_tuple=False) 这是它的构造函数，参数主要是 cells。这些 cell 是需要堆积的 RNNCell 类的实例。

• learn.ops.split_squeeze(dim,num_split,tensor_in)
<