LSTM学习笔记

LSTM简介

1.LSTM简介

LSTM(Long Short-Term Memory)网络是循环神经网络的一个变体，是一种时间序列循环神经网络，是为了解决简单循环神经网络存在的长期依赖问题而设计的。

LSTM分析

LSTM分析

LSTM结构结构如下图所示。

LSTM中的门控机制：LSTM网络引入门控机制来控制信息传递的路径。

LSTM网络中三个门的作用为：
1)遗忘门ft控制上一个时刻的内部状态ct-1需要遗忘多少信息。
2)输入门it控制当前的候选状态有多少信息需要保存。
3)输出门ot控制当前时刻的内部状态ct有多少信息需要输出给外部状态ht。
三个门的计算方式如下：

即

tensorflow中
tf.nn.rnn_cell.BasicLSTMCell(num_units=n)，num_units是隐藏层的神经元个数，说白了就是cell中图中每个黄色小方框的维度或者输出外部状态ht的向量维度。

多层LSTM

多层LSTM就是将上一层输出的外部状态ht作为当前层的输入。

本文查阅了很多相关资料，将LSTM的内部结构做了剖析，以及对多层LSTM的结构通过图示的形式做了阐释。后续随着应用以及知识的加深，会不定时更新该文档。如果文中有错误的地方，欢迎指正，互相促进，互相学习。

参考文献

[1] https://blog.youkuaiyun.com/Hello_word5/article/details/88918075
[2] 邱锡鹏.神经网络与深度学习