11、教Stratego玩球：连续状态MDP的学习算法与实验

教Stratego玩球：连续状态MDP的学习算法与实验

1. 证明概述与算法背景

在连续状态马尔可夫决策过程（MDP）中，分区细化方案有助于计算接近最优的策略，但前提是需要知道转移函数和成本函数的最小值和最大值。然而，对于随机混合系统，这些值通常是无法确定的。因此，我们将依赖基于模拟的学习方法，并采用在线分区细化方案。

证明过程通过对 $(N - n)$ 进行归纳得出：
$\forall\varepsilon > 0.\exists i.\forall\nu \in A_i.$
$\left|E_{max}^{M_N, A_i}(C_{N}^{A_i}, {N - n} \times \nu) - E_{min}^{M_N, A_i}(C_{N}^{A_i}, {N - n} \times \nu)\right| \leq \varepsilon$

归纳步骤的关键在于，由于 $S$ 的紧致性，$T$ 和 $C$ 具有一致连续性，即 $\forall\varepsilon > 0.\exists i.\forall\nu, \nu’ \in A_i.\forall a. |T_{A_i}(\nu, a)(\nu’)| \leq \varepsilon$。

2. 算法介绍

我们采用自适应在线的 Q - 学习和 M - 学习方法来解决贝尔曼方程，以引导状态空间的搜索。

2.1 静态分区学习

• 全局可修改函数 ：
  • $F_{\alpha} : 2^{R^K} \to N_0$，对于每个 $\