LSTM理解

from  博客

  在rnn中存在梯度消失和梯度爆炸的问题。

          梯度爆炸解决办法： 上图

          梯度爆炸解决办法：引入lstm

一、LSTM(Long-Short Term memory)的结构

                    

二、计算值说明

            ft：forget gate

            it： input gate

            Ct^：input

            Ct:：向下一个cell state传递 cell state

            Ot：out put，如果是单层lstm，就是输出;如果是多层lstm，就是向上一层传递

            ht：向下一个cell state传递        

三、多层加Dropout

            同层向后传递 ht和ct

            不同层向上传递ht