61、决策理论规划与强化学习：原理与方法

决策理论规划与强化学习：原理与方法

1. 有限时域折扣问题的价值迭代

在决策理论规划中，对于有限时域折扣问题，通过对公式进行变换，我们得到了如下重要的递推公式：
将式子除以 $\alpha^k$ 并令 $i = K - k$，可得：
[J_{i}^{ }(x_{k}) = \min_{u_{k} \in U(x_{k})} \left{ E_{\theta_{k}} \left[ l(x_{k}, u_{k}, \theta_{k}) + \alpha J_{i - 1}^{ }(x_{k + 1}) \right] \right}]
这里的 $J_{i}^{ }$ 表示 $K = i$ 时有限时域折扣问题的期望成本。此公式以 $J_{i - 1}^{ }$ 来表示 $J_{i}^{*}$，虽然 $x_{k}$ 已知，但右侧使用了 $x_{k + 1}$，且指标方向看似相反，这实际上是反向价值迭代，只是符号变化导致部分指标反转。只要 $x_{k + 1} = f(x_{k}, u_{k}, \theta_{k})$，$x_{k}$ 和 $x_{k + 1}$ 的具体阶段指标在该公式中并不重要。

价值迭代的过程是，首先令 $J_{0}^{ }(x_{0}) = 0$ 对于所有 $x \in X$。然后通过在状态空间上迭代上述公式来计算后续的成本 - 到 - 目标函数。在避免循环的假设下，由于是无限时域问题，收敛通常是渐近的。折扣因子会逐渐使成本差异减小，直到达到所需的容差。当 $i$ 趋于无穷大时，动态规划递推的稳态形式为：
[J^{ }(x) = \min_{u \in U(x)} \left{