13、强化学习：策略梯度方法与REINFORCE算法实践

强化学习：策略梯度方法与REINFORCE算法实践

1. 策略梯度中的奖励折扣

在策略梯度方法里，从起始状态到终止状态的奖励折扣序列可能是 [0.970, 0.980, 0.99, 1.0] 这样的形式。最后一个动作若导向了价值为 +1 的获胜状态，它是不进行折扣的。而前一个动作的奖励则是终端奖励乘以折扣因子 γt–1（这里 γ 设为 0.99）得到的缩放奖励。

折扣是从 1 开始指数衰减的，γt = γ 0(T–t)，也就是说在时间 t 的折扣是起始折扣（这里是 0.99）的 (T - t) 次幂，T 是回合的总时间步数，t 是某个特定动作的局部时间步。例如，当 T - t = 0 时，γT–0 = 0.990 = 1；当 T - t = 2 时，γT–2 = 0.992 = 0.9801 ，依此类推。每往回一个时间步，折扣因子就根据与终端步的距离进行指数运算，这使得离奖励结果越远（越不相关）的动作，其折扣因子呈指数衰减。

举个例子，如果智能体处于状态 S0（即时间步 t = 0），采取动作 a1 并收到奖励 tt+1 = –1，目标更新将是 –γ0(–1)logπ(a1⏐θ,S0) = logπ(a1⏐θ,S0)，这是策略网络输出的对数概率。

2. OpenAI Gym 简介

为了说明策略梯度的工作原理，之前用了 Gridworld 作为例子。但为了增加多样性并引入 OpenAI Gym，我们将使用不同的问题来实现策略梯度算法。

OpenAI Gym 是一个开源的环境套件，拥有通用的 API，非常适合测试强化学习算法。如果你提出了新的深度强化学习（DRL）算法，在 Gym 的一些环境中进行测试，能很好地了解其性能