34、隐模式马尔可夫决策过程：算法与实证研究

隐模式马尔可夫决策过程：算法与实证研究

1. 引言

隐模式马尔可夫决策过程（HM - MDP）是部分可观测马尔可夫决策过程（POMDP）的一个特殊类别。HM - MDP 相较于 POMDP 具有更少的模型参数，在学习和求解相关问题时具有一定优势。本文将介绍 HM - MDP 的学习算法、实证研究以及解决隐模式问题的方法。

2. HM - MDP 学习算法

2.1 HM - MDP 与 POMDP 的关系

一个 3 模式、4 状态、1 动作的 HM - MDP 可以等效转换为一个 POMDP。在图 5 中，HM - MDP 的模式 m 下的状态 s 被重新标记为 。需要注意的是，HM - MDP 的模型参数比其对应的 POMDP 少得多。

2.2 HM - MDP Baum - Welch 算法

该算法是对标准 Baum - Welch 算法的扩展，用于学习 HM - MDP 模型。其核心思想是通过维护一组辅助变量，从观测序列中推断隐藏变量的转移情况，进而估计模型参数。
- 算法框架 ：
1. 给定数据集合和初始模型参数向量 $\overline{\theta}$。
2. 重复以下步骤：
- $\theta = \overline{\theta}$
- 计算前向变量 $\alpha_t$（图 7）。
- 计算后向变量 $\beta_t$（图 8）。
- 计算辅助变量 $\xi_t$ 和 $\gamma_t$（图 9）。
- 计算新的模型参数 $\overline{\theta}$（图 10）。