14、连续拟合值迭代在鲁棒策略中的应用

连续拟合值迭代在鲁棒策略中的应用

1 引言

在连续时间强化学习中，拟合值迭代（FVI）是一种常用的方法，用于解决哈密顿-雅可比-贝尔曼（HJB）和哈密顿-雅可比-艾萨克斯（HJI）微分方程。这些方程适用于连续状态和动作空间，且无需基于网格的采样。FVI通过迭代地计算价值函数目标，并最小化目标与近似值之间的差异，从而逐步逼近最优价值函数。本文将详细介绍如何使用FVI来解决HJB和HJI方程，并探讨其在鲁棒策略中的应用。

1.1 优化问题的封闭形式解

为了简化HJB和HJI中的优化问题，我们可以利用前面章节中提到的最优策略和最优对手的解析解。具体来说，将最优行动和最优对手代入HJB和HJI方程，可以将这些方程简化为无需进一步优化的微分方程。以下是具体的推导过程：

[
\rho V^ (x) = \max_u \left[q_c(x) - g_c(u) + \left[a(x) + B(x)u\right]^T \nabla_x V^ \right]
]

其中，(q_c(x)) 是状态奖励，(g_c(u)) 是动作成本，(a(x)) 是非线性漂移，(B(x)) 是非线性控制矩阵。通过解析解，可以将上述方程简化为：

[
u^ = \nabla_{\tilde{g}}(B(x)^T \nabla_x V^ )
]

这种简化使得我们可以在不需要进一步优化的情况下直接计算最优行动。对于HJI方程，同样的方法也可以应用，从而得到最优对手的解析解。

1.2 价值函数目标

为了适应HJB和H