37、强化学习中的Q学习与策略梯度方法

强化学习中的Q学习与策略梯度方法

1. Fitted Q - learning

在传统的表格型蒙特卡罗和TD算法中，需要反复遍历整个马尔可夫决策过程（MDP）来更新动作值。然而，这种方法仅在状态 - 动作空间较小时才可行。例如，即使是在棋盘这样相对受限的环境中，也存在超过$10^{40}$种可能的合法状态。

Fitted Q - learning用机器学习模型$q[s_t, a_t, \phi]$取代了动作值的离散表示$q[s_t, a_t]$，其中状态由向量$s_t$表示，而非简单的索引。基于相邻动作值的一致性，定义了最小二乘损失：
[L[\phi] = \left(r[s_t, a_t] + \gamma \cdot \max_{a} \left[q[s_{t + 1}, a, \phi]\right] - q[s_t, a_t, \phi]\right)^2]
这进而导致了参数更新：
[\phi \leftarrow \phi + \alpha \left(r[s_t, a_t] + \gamma \cdot \max_{a} \left[q[s_{t + 1}, a, \phi]\right] - q[s_t, a_t, \phi]\right)\frac{\partial q[s_t, a_t, \phi]}{\partial \phi}]

与Q学习不同的是，Fitted Q - learning不再保证收敛。参数的变化可能会同时修改目标$r[s_t, a_t] + \gamma \cdot \max_{a_{t + 1}} [q[s_{t + 1}, a_{t + 1}, \phi]]$（最大值可能改变）和预测值$q[s_t, a_t,