对于强化学习中策略梯度为什么取log的问题

最新推荐文章于 2025-05-04 17:09:25 发布

原创最新推荐文章于 2025-05-04 17:09:25 发布 · 5.3k 阅读

30 ·

CC 4.0 BY-SA版权

文章标签：

#强化学习 #概率对数 #策略梯度

ReinForcement Learning 专栏收录该内容

5 篇文章

订阅专栏

本文解析强化学习中策略梯度采用log的原因，包括消除轨迹样本间计算关联性，扩大数值范围加速策略更新，及提升计算稳定性，避免小概率事件导致的数据下溢问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

随手更新~

今天有个同学来问我，为什么强化学习的策略梯度要取log。总结可以直接看最后。

首先，我们先回顾一下什么是策略梯度：

$\tau$ 在强化学习中叫做trajectory（轨迹）

$\tau^n = s_1, a_1, ..., s_n, a_n$

计算策略梯度的目的，简单的来说，就是通过改变神经网络的参数，使神经网络产生的能够得到大的奖励的动作的概率变大。是不是有点绕……我们知道，策略迭代算法，产生的是一个策略，也就是动作的概率分布。通过调整这个分布（其实也就是均值，因为方差会逐步减少），使之更靠近一个好的动作，这个动作比其他的动作让智能体收获更多的奖励。

哎，啰嗦了一大堆，反正既然要朝累积奖励增大的方向更新，那我们直接在奖励R前面加一个符号，再求梯度不就可以了

$\nabla \overline R_\theta = \sum_\tau{R(\tau) \nabla p_\theta(\tau)}$

我们先看一下不转化为log的怎么求。从 $\tau^1$ 到 $\tau^N$ ,每个轨迹求一个概率 $\begin{align}p_\theta(\tau^n)&=p_\theta(s_1,a_1,...,s_n,a_n)\nonumber\\&=p_\theta(s_1,a_1,s_2)p_\theta(s_2,a_2,s_3)...p_\theta(s_{n-1},a_{n-1},s_n)\nonumber\\&=p_\theta(s_1)p_\theta(a_1|s_1)p(s_2|s_1,a_1)...p_\theta(s_{n-1})p_\theta(a_{n-1}|s_{n-1})p(s_n|s_{n-1},a_{n-1})\nonumber\end{align}$

可以看出，如果要n从1到N，我们要保存这些概率，先别说这些概率怎么计算出来，不断进行概率相乘，在trajectory的最后的动作，无论多么出色，R多大，这么多0~1的数乘起来，首先可能发生数据下溢，其次，出色的动作反而得不到概率上的提升，这是不对的。

如果我们使用log呢？

$\begin{align} \nabla \overline R_\theta &= \sum_\tau{R(\tau) \nabla p_\theta(\tau)}\nonumber\\&=\sum_\tau R(\tau)p_\theta(\tau)\nabla logp_\theta(\tau)\nonumber\\&=E_{\tau \sim p_\theta(\tau)} R(\tau)\nabla logp_\theta(\tau)\nonumber\\& \approx \frac{1}{N} \sum_n R_n\nabla logp_\theta(a_n|s_n) \nonumber\end{align}$