17、马尔可夫决策过程与金融应用解析

马尔可夫决策过程与金融应用解析

1. 马尔可夫决策过程基础

马尔可夫决策过程（MDPs）可用于解决诸如“如何以最低总成本到达目标状态”的规划问题。考虑一个具有转移概率 $p(x_{t + 1} = i|x_t = j)$ 的马尔可夫链，在每个时间步 $t$ 有一个影响 $t + 1$ 时刻状态的动作（决策），用 $p(x_{t + 1} = i|x_t = j, d_t = k)$ 描述。每个状态 $x_t$ 关联一个效用 $u(x_t)$。

对于正效用，状态 - 决策路径 $x_{1:T}, d_{1:T}$ 的总效用定义为（已知初始状态 $x_1$）：
$U(x_{1:T}) \equiv \sum_{t = 2}^{T} u(x_t)$
该路径发生的概率为：
$p(x_{2:T}|x_1, d_{1:T - 1}) = \prod_{t = 1}^{T - 1} p(x_{t + 1}|x_t, d_t)$

在 $t = 1$ 时，我们要做出使期望总效用最大的决策 $d_1$，即：
$U(d_1|x_1) \equiv \sum_{x_2} \max_{d_2} \sum_{x_3} \max_{d_3} \sum_{x_4} \cdots \max_{d_{T - 1}} \sum_{x_T} p(x_{2:T}|x_1, d_{1:T - 1})U(x_{1:T})$

我们的任务是计算每个 $d_1$ 状态下的 $U(d_1|x_1)$，然后选择期望总效用最大的状态。可以使用连接树方法高效地进行求和与最大化操作，但在某些简单情况下，直接的消息传递方法也可计算期望效用。

2. 通过消息传递最大化期望效