HMM隐马尔科夫模型

对HMM做概述，主要摘抄自《统计学习方法》，概率计算为主，对学习和预测算法暂时忽略。
最后补充一些HMM在地图匹配上的应用

1.HMM

定义和理解

隐马尔可夫模型(Hidden Markov Model)，标注问题，生成模型。

定义：隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。

变量：
1. 状态集合：$Q=\{q_1,q_2,...,q_N\}$
2. 观测集合：$V=\{v_1,v_2,...,v_M\}$
3. 状态序列：$I=(i_1,i_2,...,i_T)$
4. 观测序列：$O=(o_1,o_2,...,o_T)$
5. 状态转移概率矩阵：表示时刻$t$时状态$q_i$且时刻$t+1$时状态$q_j$的概率

$$A=[a_{ij}]_{N\times N}\\a_{ij}=P(i_{t+1}=q_j|i_t=q_i)$$
6. 观测概率矩阵：表示时刻 $t$处于状态 $q_j$的条件下生成观测 $v_k$的概率
$$B=[b_j(k)]_{N\times M}\\b_j(k)=P(o_t=v_k|i_t=q_j)$$
7. 初始状态概率向量：表示t=1时处于状态 $q_i$的概率
$$\pi_i=P(i_1=q_i)$$

隐马尔可夫模型由初始状态概率向量$\pi$、状态转移概率矩阵$A$、观测概率矩阵$B$决定
$\pi$和$A$确定了隐藏的马尔可夫链，生成不可观测的状态序列；$B$决定了从状态序列生成观测序列
则模型表示为

$$\lambda=(A,B,\pi)$$

两个基本假设：
1. 齐次马尔可夫性假设。即假设隐藏的马尔可夫链在任意时刻t的状态只依赖于其前一时刻的状态，与其他时刻的状态和观测无关，也与时刻t无关

P(it|it−1,ot−1,...,i1,o1)=P(it|it−1) P