隐马尔科夫模型HMM（二） -- 估计问题

最新推荐文章于 2024-07-03 09:31:19 发布

原创

最新推荐文章于 2024-07-03 09:31:19 发布 · 425 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#HMM #前向算法 #后向算法 #穷尽法 #隐马尔科夫模型

本文介绍了隐马尔科夫模型（HMM）的估计问题，包括穷尽法、前向算法、后向算法及两者的结合。在给定HMM模型和观察序列的情况下，探讨如何计算观察序列的概率。前向算法和后向算法通过动态规划减少计算量，分别定义了前向变量αt(i)和后向变量βt(i)，并详细阐述了它们的计算过程和应用场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先我们来研究HMM的第一个问题 – 估计问题。给定一个HMM模型 $μ=(S,K,A,B,π)\mu =\left ( S,K,A,B,\pi \right )$ 和观察序列 $O=O_{1}O_{2}O_{3}...O_{T}$ ，如何快速地计算出给定模型 $μ\mu$ 的情况下，观察序列O的概率，即 $P(O∣μ)P\left ( O|\mu \right )$ ？这就是解码问题，这里介绍穷尽所有可能的状态序列、前向算法、后向算法以及前向后向相结合的算法四种方法。

一、穷尽法

此种方法是穷尽所有的状态序列，计算出观察序列 $O=O_{1}O_{2}O_{3}...O_{T}$ 出现的概率。对于任意的状态序列 $Q=q_{1}q_{2}q_{3}...q_{T}$ ，有 $P(O∣Q,μ)=∏t=1T−1P(Ot∣qt,qt+1,μ)=bq1(O1)×bq2(O2)×...bqT(OT)P\left ( O|Q,\mu \right )=\prod_{t=1}^{T-1}P\left ( O_{t}|q_{t},q_{t+1},\mu \right )\\=b_{q_{1}}\left ( O_{1} \right )\times b_{q_{2}}\left ( O_{2} \right )\times ...b_{q_{T}}\left ( O_{T} \right )$
并且 $P(Q∣μ)=πq1aq1q2aq2q3...aqT−1qTP\left ( Q|\mu \right )=\pi _{q_{1}}a_{q_{1}q_{2}}a_{q_{2}q_{3}}...a_{q_{T-1}q_{T}}$
由于 $P(O,Q∣μ)=P(O∣Q,μ)P(Q∣μ)P\left ( O,Q|\mu \right )=P\left ( O|Q,\mu \right )P\left ( Q|\mu \right )$
因此 $P(O∣μ)=∑QP(O,Q∣μ)=∑QP(O∣Q,μ)P(Q∣μ)=∑Qπq1bq1(O1)∏t=1T−1aqtqt+1bqt+1(Ot+1)P\left ( O|\mu \right )=\sum_{Q}P\left ( O,Q|\mu \right )\\ =\sum_{Q}P\left ( O|Q,\mu \right )P\left ( Q|\mu \right )\\ =\sum_{Q}\pi _{q_{1}}b_{q_{1}}\left ( O_{1} \right )\prod_{t=1}^{T-1}a_{q_{t}q_{t+1}}b_{q_{t+1}}\left ( O_{t+1} \right )$
上述推导方法很直接，但是面临一个很大的困难，必须穷尽所有可能的状态序列，如果模型 $μ=(S,K,A,B,π)\mu =\left ( S,K,A,B,\pi \right )$ 中有N个不同的状态，观察序列的长度为T，那么将有 $N^{T}$