HMM 边缘概率（Marginal Probability）

1. ${\gamma }_t(i)$ 的定义

$${\gamma }_t(i)=P(q_t=i|O,\lambda )$$

• 意义：

  • ${\gamma }_t(i)$ 表示在给定观测序列 $O$ 和模型参数 $\lambda$ 的条件下，在时刻 $t$ 时隐藏状态为 $i$ 的概率。
  • 它是一个边缘概率（Marginal Probability），表示状态 $i$ 在时刻 $t$ 的“期望权重”。

• 计算公式：
  $${\gamma }_t(i)=\frac{{\alpha }_t(i){\beta }_t(i)}{P(O|\lambda )}$$

  • 分子：从初始到 $t$ 的路径概率（前向概率 ${\alpha }_t(i)$），以及从 $t+1$ 到结束的路径概率（后向概率 ${\beta }_t(i)$），两者相乘表示完整路径。
  • 分母：$P(O|\lambda )$，用于归一化观测序列的总概率。

---

2. ${\xi }_t(i,j)$ 的定义

$${\xi }_t(i,j)=P(q_t=i,q_{t+1}=j|O,\lambda )$$

• 意义：

  • ${\xi }_t(i,j)$ 表示在给定观测序列 $O$ 和模型参数 $\lambda$ 的条件下，在时刻 $t$ 状态从 $i$ 转移到 $j$ 的概率。
  • 它是一个联合概率（Joint Probability），描述了两个相邻时刻状态的联合分布。

• 计算公式：
  $${\xi }_t(i,j)=\frac{{\alpha }_t(i)a_{ij}{b}_j(O_{t+1}){\beta }_{t+1}(j)}{P(O|\lambda )}$$

  • 分子：
    • ${\alpha }_t(i)$：时刻 $t$ 状态为 $i$ 的路径概率。
    • $a_{ij}$：从状态 $i$ 转移到状态 $j$ 的概率。
    • $b_j(O_{t+1})$：状态 $j$ 生成观测值 $O_{t+1}$ 的概率。
    • ${\beta }_{t+1}(j)$：时刻 $t+1$ 开始到结束的路径概率。
  • 分母：$P(O|\lambda )$，用于归一化观测序列的总概率。

---

3. ${\gamma }_t(i)$ 和 ${\sum }_{j=1}^N{\xi }_t(i,j)$ 的关系

${\sum }_{j=1}^N{\xi }_t(i,j)$ 的计算

通过定义：
$$\sum _{j=1}^N{\xi }_t(i,j)=\sum _{j=1}^N\frac{{\alpha }_t(i)a_{ij}{b}_j(O_{t+1}){\beta }_{t+1}(j)}{P(O|\lambda )}$$

• ${\alpha }_t(i)$ 是固定的，因为它只依赖状态 $i$。
• $P(O|\lambda )$ 是常数，因为它是观测序列的总概率。

将常量提取到求和外部：
$$\sum _{j=1}^N{\xi }_t(i,j)=\frac{{\alpha }_t(i)}{P(O|\lambda )}\sum _{j=1}^N{a}_{ij}{b}_j(O_{t+1}){\beta }_{t+1}(j)$$

注意到：
$$\sum _{j=1}^N{a}_{ij}{b}_j(O_{t+1}){\beta }_{t+1}(j)$$
表示从状态 $i$ 出发的所有可能转移路径的总概率。

因此：
$$\sum _{j=1}^N{\xi }_t(i,j)=\frac{{\alpha }_t(i){\beta }_t(i)}{P(O|\lambda )}$$

和 ${\gamma }_t(i)$ 对比

根据 ${\gamma }_t(i)$ 的定义：
$${\gamma }_t(i)=\frac{{\alpha }_t(i){\beta }_t(i)}{P(O|\lambda )}$$

两者完全相等：
$${\gamma }_t(i)=\sum _{j=1}^N{\xi }_t(i,j)$$

---

4. 直观理解

1. ${\gamma }_t(i)$：

   • 它是状态 $i$ 在时刻 $t$ 出现的总概率。
   • 无需考虑具体转移到哪个状态，只看状态 $i$ 本身。

2. ${\xi }_t(i,j)$：

   • 它是状态 $i$ 在时刻 $t$ 出现，并在下一时刻转移到状态 $j$ 的联合概率。
   • ${\sum }_{j=1}^N{\xi }_t(i,j)$ 把所有可能的目标状态 $j$ 加总，等价于状态 $i$ 本身的总概率。

---

5. 总结

• ${\gamma }_t(i)$ 和 ${\sum }_{j=1}^N{\xi }_t(i,j)$ 相等。
• ${\gamma }_t(i)$ 是边缘概率，描述状态 $i$ 的总体情况。
• ${\xi }_t(i,j)$ 是联合概率，通过加总 $j$ 消除了具体转移的影响，从而等价于 ${\gamma }_t(i)$。