强化学习-TRPO算法详解

TRPO（Trust Region Policy Optimization）算法详解

TRPO（信任区域策略优化）是一种基于策略梯度的强化学习算法，由John Schulman等人在2015年提出。其核心思想是通过限制策略更新的幅度，确保新策略的性能不会显著下降，从而提升训练稳定性。以下是TRPO的详细介绍：

---

1. 背景与动机

• 传统策略梯度的问题：策略梯度方法直接优化策略参数，但步长选择敏感。过大的更新可能导致策略性能骤降，而过小的步长则收敛缓慢。
• 信任区域的引入：TRPO提出在策略更新时定义一个“信任区域”，确保新策略与旧策略的差异在可控范围内。数学上通过KL散度约束实现。

---

2. 策略优化的基本目标

在强化学习中，策略优化的目标是找到一个策略 ${\pi }_{\theta }(a|s)$，使得期望累积回报最大化：
$$J(\theta )={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}\left[\sum _{t=0}^{\infty }{\gamma }^{t}r(s_t,a_t)\right],$$
其中 $\tau$ 是轨迹，$\gamma$ 是折扣因子。直接优化 $J(\theta )$ 的梯度为：
$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}\left[\sum _{t=0}^{\infty }{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\cdot Q^{{\pi }_{\theta }}(s_t,a_t)\right]$$
推导过程如下：

1. 从定义出发
   • 首先，目标函数$J(\theta )={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}[{\sum }_{t=0}^{\infty }{\gamma }^t{r}_t]$，这里$\tau =(s_0,a_0,r_0,s_1,a_1,r_1,\cdots )$是一个轨迹，$\gamma$是折扣因子。期望是对所有可能的轨迹$\tau$按照策略${\pi }_{\theta }$进行计算的。
   • 根据期望的定义，$J(\theta )={\int }_{\tau }{\pi }_{\theta }(\tau )({\sum }_{t=0}^{\infty }{\gamma }^t{r}_t)d\tau$，其中${\pi }_{\theta }(\tau )={\prod }_{t=0}^{\infty }{\pi }_{\theta }(a_t|s_t)$是轨迹$\tau$出现的概率。
2. 应用对数求导技巧

   • 为了求$J(\theta )$关于$\theta$的梯度，我们对$J(\theta )$使用对数求导技巧。

     • 设$p(\theta )={\pi }_{\theta }(\tau )$和$g(\theta )={\sum }_{t=0}^{\infty }{\gamma }^t{r}_t$
     • 那么$J(\theta )=\mathbb{E}[g(\theta )]=\int p(\theta )g(\theta )d\theta$。

   • 根据对数求导公式${\nabla }_{\theta }\log p(\theta )=\frac{{\nabla }_{\theta }p(\theta )}{p(\theta )}$，对$J(\theta )$求导可得：
     $$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& =\int {\nabla }_{\theta }\left[{\pi }_{\theta }(\tau )\left(\sum _{t=0}^{\infty }{\gamma }^t{r}_t\right)\right]d\tau \\ & =\int \left[{\nabla }_{\theta }{\pi }_{\theta }(\tau )\left(\sum _{t=0}^{\infty }{\gamma }^t{r}_t\right)+{\pi }_{\theta }(\tau ){\nabla }_{\theta }\left(\sum _{t=0}^{\infty }{\gamma }^t{r}_t\right)\right]d\tau \end{array}$$

   • 注意到${\nabla }_{\theta }({\sum }_{t=0}^{\infty }{\gamma }^t{r}_t)=0$，因为$r_t$不依赖于$\theta$。

   • 对于${\nabla }_{\theta }{\pi }_{\theta }(\tau )$，由于${\pi }_{\theta }(\tau )={\prod }_{t=0}^{\infty }{\pi }_{\theta }(a_t|s_t)$，根据复合函数求导法则和对数求导技巧，$${\nabla }_{\theta }{\pi }_{\theta }(\tau )={\pi }_{\theta }(\tau )\sum _{t=0}^{\infty }\frac{{\nabla }_{\theta }{\pi }_{\theta }(a_t|s_t)}{{\pi }_{\theta }(a_t|s_t)}$$即$${\nabla }_{\theta }{\pi }_{\theta }(\tau )={\pi }_{\theta }(\tau )\sum _{t=0}^{\infty }{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)$$

3. 引入动作 - 价值函数$Q^{\pi }(s_t,a_t)$
   • 把${\nabla }_{\theta }{\pi }_{\theta }(\tau )={\pi }_{\theta }(\tau ){\sum }_{t=0}^{\infty }{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)$代入${\nabla }_{\theta }J(\theta )$的表达式中，得到：
     $${\nabla }_{\theta }$$