统计学习方法--隐马尔科夫模型 （overview）

1. 如何通过一个简单的例子明白隐马尔科夫模型？

  可以参考知乎问题“如何用简单的例子隐马尔科夫模型？”：https://www.zhihu.com/question/20962240

************************************************************************************************************

在本文中，我选取李航老师的书《统计学习方法》的例子，作为阐述。

 Example1: 假设有4个盒子，每个盒子都有红色和白色两种颜色的小球。

 开始抽球了！最开始以等概率随机选取一个盒子，从中抽取一个球，记下颜色，然后放回；然后从当前的盒子转移到下一个盒子，转移的规则是：

• 如果当前是盒子1，则下一个盒子一定是盒子2；
• 如果当前是盒子2或者3，那么转移到左边或者右边的概率分别是0.4和0.6；
• 如果当前是盒子4，那么各以0.5的概率停留在盒子4或者转移到盒子3

确定转移的盒子后，再从这个盒子里面随机抽取一个球，记下颜色，放回；如此下去，重复进行5次。

得到一个球的颜色观测序列 - {红，红，白，白，红}

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

与HMM中的理论知识相对应，我们可以从条件中获得以下知识：

• 状态集合: Q = {盒子1，盒子2，盒子3，盒子4}
• 观测集合: V= {红，白}
• 状态序列和观测序列长度: T=5
• 初始状态分布:
  

            

• 状态转移概率:

          

• 观测概率分布：

          

************************************************************************************************************

2. 隐马尔科夫模型三要素

        

状态转移概率矩阵和初始状态概率矩阵确定了隐藏的马尔科夫链，生成不可观测的状态序列。观测概率矩阵确定了如何从状态生成观测。

隐马尔科夫模型的两个基本假设：

（1）隐藏的马尔科夫链在任意时刻的状态只依赖于前一时刻的状态，而与其他时刻的状态和观测无关，也与时刻无关

（2）任意时刻的观测只依赖于该时刻的马尔科夫链的状态，与其他观测及状态无关。

************************************************************************************************************

3. 隐马尔科夫模型中观测序列是如何生成的？

输入：隐马尔科夫模型，观测序列长度T

输出：观测序列 O = (o1,o2,o3,...,oT)

（1）按照初始状态分布概率产生状态 i1

（2）令t=1

（3）按照状态i_t的观测分布bi_t(k)生成o_t

（4）按照状态i_t的状态转移概率分布产生状态i_t+1

 （5）令t=t+1；如果t<T,转步（3）,否则停止。

************************************************************************************************************

4. 隐马尔科夫模型的三类问题？

• 概率计算问题。给定隐马尔科夫模型的三个参数和观测序列，求观测序列出现的概率。
• 学习问题。已知观测序列，求算模型的三个参数，从而使得在该模型下观测序列的概率最大。即用最大似然的方法估计参数。
• 预测问题。已知模型和观测序列，求最有可能的对应的状态序列。
  

总结：本问主要学习了隐马尔科夫模型的基本概念和三大问题。在后面，将会逐个学习三类问题的处理方法。