HMM隐马尔科夫模型

Hidden Markov Model

频率派：统计机器学习（判别模型）

             问题转化为优化问题。
             （a）定义模型
             （b）定义损失函数
             （c）优化算法

贝叶斯派：概率图模型（生成模型）

             （a）做推断，求后验概率P(y|x)。
             （b）求期望，方差。。。。
             （c）演变为积分问题（利用数值计算的方式）

HMM（一个模型，两个假设，三个问题）

在这里插入图片描述!

Evaluation 给模型λ，求P(o|λ)

1. 传统方法
   
2. Forward Algorithm
   前向算法数学推导。
   
3. backward algorithm
   一种思想
   
   递推关系

从后向前递推出结果

4. 总结
   

Learning（用EM算法）

1. 求参数
   
2. 带约束的优化问题用拉格朗日乘子法
   

Decoding

δt(i):指t时刻到达隐含状态i的概率。（这是一个动态规划问题）

ψt+1(i):用来返回第t时刻选择什么状态i，可以使第t+1时刻达到j状态的概率最大。（此过程便是Decoding的过程）

小结

1.状态空间模型 SSM包含的问题（HMM属于SMM）

2. Learning问题求参数
3. Decoding求隐状态
4. prob of evidence即Forward Algorithm和Backward Algorithm
5. Filtering用Forward Algorithm解
6. Smoothing用Forward-Backward Algorithm
7. Prediction