【深度强化学习 DRL 快速实践】策略梯度算法 (PG)

PG（1984，Sutton） 核心改进点

策略梯度算法 (PG): 直接对策略函数进行建模，可以适用于连续的动作空间

• model-free, on-policy, PG, stochastic 策略

核心改进点	说明
策略梯度优化	通过Actor网络直接优化策略，适应连续动作问题: ${\theta }_{new}={\theta }_{old}+\alpha {\nabla }_{\theta }J(\theta )$

PG 网络更新 – 基于蒙特卡洛估计的 REINFORCE

$${\nabla }_{\theta }J(\theta )\approx \sum _{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)G_t，\text{where }{G}_t=\sum _{t^{\prime }=t}^T{\gamma }^{t^{\prime }-t}{r}_{t^{\prime }}$$

---

详细网络更新公式推导

策略更新目标：使得 $\theta$ 策略下得到的所有轨迹 $\tau$ 的回报期望 ${\bar{R}}_{\theta }$ 最大化: 可以用 N 条轨迹的均值近似

• τ = { s 1 , a 1 , r 1 , s 2 , a 2 , r 2 , … , s τ , a τ , r τ } \tau = \{s_1, a_1, r_1, s_2, a_2, r_2, \dots, s_\tau, a_\tau, r_\tau\} τ={s1​,a1​,r1​,s2​,a2​,r2​,…,sτ​,aτ​,rτ​}
  $${\bar{R}}_{\theta }=\sum _{\tau }R(\tau )P(\tau |\theta )\approx \frac{1}{N}\sum _n^{N}R({\tau }^n)$$

计算梯度 (近似)

$$\begin{gathered} \nabla {\bar{R}}_{\theta }=\sum _{\tau }R(\tau )\nabla P(\tau |\theta )=\sum _{\tau }R(\tau )P(\tau |\theta )\frac{\nabla P(\tau |\theta )}{P(\tau |\theta )}=\sum _{\tau }R(\tau )P(\tau |\theta ){\nabla }_{\theta }\log P(\tau |\theta ) \\ \approx \frac{1}{N}\sum _{n=1}^{N}R({\tau }^n){\nabla }_{\theta }\log P({\tau }^n|\theta ) \end{gathered}$$

• 注：转为 log 时利用了公式 $$\frac{d\log (f(x))}{dx}=\frac{1}{f(x)}\cdot \frac{df(x)}{dx}$$

其中，${\nabla }_{\theta }\log P({\tau }^n|\theta )$ 可以做进一步表示

$$\begin{gathered} P(\tau |\theta )=p(s_1)\prod _{t=1}^{T}p(a_t|s_t,\theta )p(r_t,s_{t+1}|s_t,a_t) \\ \log P(\tau |\theta )=\log p(s_1)+\sum _{t=1}^T\log p(a_t|s_t,\theta )+\log p(r_t,s_{t+1}|s_t,a_t) \\ {\nabla }_{\theta }\log P(\tau |\theta )=\sum _{t=1}^T{\nabla }_{\theta }\log p(a_t|s_t,\theta ) \end{gathered}$$

所以梯度 (近似)的表示更新为

$$\nabla {\bar{R}}_{\theta }\approx \frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T^n}R({\tau }^n){\nabla }_{\theta }\log p(a_t^n|s_t^n,\theta )$$

• 注：梯度用的是总的回报 $R({\tau }^n)$ 而不是 $a_t^n$ 对应的即时奖励，也就是说，总的回报会增强/减弱轨迹上所有有利/有害的动作输出；进一步，由于对于第 t 个step，所选择的动作只会影响未来的 $$U_t^n=\sum _t^{T^n}{r}_t^n$$ 所以 $R({\tau }^n)$ 可以被优化为 $U_t^n$，对应本文一开始所给出的梯度公式

关于如何理解这个梯度，李宏毅老师类比分类学习的讲法也很有启发，强烈推荐学习下 【PG 李宏毅 B 站】

进一步的 还可以通过添加 baseline 等方法进一步优化表现

• 解决全正数值的奖励导致的 – 没有被 sample 到的 action 输出概率会下降 (因为其他被 sample 到了的 actions，获得了正数值的奖励导致其被视为 有利的动作，进而被增强了其的输出) 的问题

---

基于 stable_baselines3 的快速代码示例

• 见后续 PPO 算法章节

---

参考资料：策略梯度算法(PG)详解