《白话深度学习与Tensorflow》学习笔记（3）HMM RNN LSTM

RNN:循环神经网络

与CNN最大的不同是记忆暂存功能，可以把过去输入的内容所产生的远期影响量化后与当前时间输入内容一起反应到网络中参与训练。尤其是对时间序列、自然语言（上下文关系）的处理，具有优势。

马尔科夫链：在给定当前的知识或信息下，观测对象过去的历史状态对于将来的预测是无关的，只需要观测当前状态即可得出。

HMM：隐马尔可夫模型，隐马尔可夫链的模型相对简化，是贝叶斯信念的一个特例。

假如三个骰子，分别是正方体D6、四面体D4和八面体D8。

无序的扔这三个骰子，可能出现了一串序列，2,1,8。这就叫做可见状态链，而其中还存在隐含状态链，如D4，D6，D8。HMM中的马尔科夫链一般是指隐含状态链，实际是隐含状态之间的转化概率。隐含状态和可见状态直接的概率叫做输出概率。

HMM隐马尔可夫模型，即通过统计的方法可以去观察和认知一个事件序列上邻近事件发生的概率转换问题。

如何训练HMM模型:输入Xi序列和Oi序列，全部通过统计学模型完成，得到的模型结果就是一个转移矩阵。一个输出概率矩阵和一个隐含状态转移矩阵。这样可以对下一个输出状态进行基于概率的预测。

RNN为如下的结构：