18、强化学习中的离策略算法与确定性策略梯度

强化学习中的离策略算法与确定性策略梯度

在强化学习领域，有多种算法致力于解决不同场景下的决策问题。本文将介绍一系列离策略算法以及确定性策略梯度相关算法，包括它们的原理、实现和特点。

GTD(0)算法

GTD(0)算法的整体布局与标准Q学习类似。以下是其具体步骤：

Algorithm 6-1. GTD(0) algorithm
1: 
    输入: 一个使用参数化动作价值函数的策略，π(a|Q(s, a; θ))，学习率参数，0 < α < 1 且 0 < β < 1
2: 任意初始化 θ 和 u
3: 对于每个回合:
4: 初始化状态 s
5: 当 s 不是终止状态时:
6: 根据策略 π 从状态 s 中选择动作 a，若有平局则随机打破
7: 执行动作 a，观察奖励 r 和下一个状态 s′
8: δ = r + γθ⊺ϕ(s′) − θ⊺ϕ(s)
9: u = u + β(δϕ(s) − u)
10: θ = θ + α(ϕ(s) − γϕ(s′))ϕ(s)⊺u
11: s = s′

步骤(9)和(10)是计算TD误差梯度并得出的更新规则，u 是用于更新参数 θ 的中间计算量。值得注意的是，该算法不使用重要性采样，而理论上重要性采样可提供更低方差的更新。

Greedy - GQ算法

Greedy - GQ算法与GTD类似，但为目标策略引入了第二个线性模型。这使得目标策略不再受可能不匹配的行为模型的约束，理论上具有更快的学习潜力。以下是其更新步骤：