统计学习之HMM概率计算-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_45416691/article/details/122552205

本文是我学习李航老师的《统计学习方法》的学习笔记。

概率计算法

计算观测序列概率 $P (O ∣ λ)$ 的前向与后向算法。

1.直接计算法

给定模型 $λ = (A, B, π)$ 和和观测序列 $O=(o_1,o_2,...,o_T)$ ，计算观测序列O出现的概率 $P (O ∣ λ)$ ，最直接的方法就是按概率公式直接计算。通过列举所有可能的长度为T的状态序列 $I=(i_1,i_2,...,i_T)$ ，对各个状态序列 $I$ 与观测序列 $O=(o_1,o_2,...,o_T)$ 的联合概率 $P (O, I ∣ λ)$ ,然后对所有可能的状态序列求和，得到 $P (O ∣ λ)$ .

状态序列 $I=(i_1,i_2,...,i_T)$ 的概率是：
$P(I|λ)=π_{i_1}a_{i_1i_2}a_{i_2i_3}...a_{i_{T-1}i_{T}}$
对固定的状态序列 $I=(i_1,i_2,...,i_T)$ ，观测序列 $O=(o_1,o_2,...,o_T)$ 的概率是：
$P(O|I,λ)=b_{i_1}(o_1)b_{i_2}(o_2)...b_{i_T}(o_T)$
$O$ 和 $I$ 同时出现的概率为
$P(O,I|λ)=P(O|I,λ)P(I|λ)= π_{i_1}b_{i_1}(o_1)a_{i_1i_2}b_{i_2}(o_2)...a_{i_{T-1}i_{T}}b_{i_T}(o_T)$
然后，对所有可能的状态序列I求和，得到观测序列O的概率 $P (O ∣ λ)$ ，即
$P(O,I|λ)=\sum_{I} P(O|I,λ)P(I|λ)=\sum_{i_1,i_2,...,i_T}π_{i_1}b_{i_1}(o_1)a_{i_1i_2}b_{i_2}(o_2)...a_{i_{T-1}i_{T}}b_{i_T}(o_T)$