RL策略梯度方法之(十五):SAC with Automatically Adjusted Temperature

本专栏按照 https://lilianweng.github.io/lil-log/2018/04/08/policy-gradient-algorithms.html 顺序进行总结 。

---

---

带有自动热度调整的软演员-评论家算法

$SACwithAutomaticallyAdjustedTemperature$ ：[ paper：Soft Actor-Critic Algorithms and Applications | code ]

---

原理解析

SAC算法对于热度参数十分敏感。不幸的是，调整热度参数是一件很困难的事情。因为在随着策略由于训练变得更优的过程中或者在不同任务中进行训练时熵都会出现不可预测的变化。在SAC算法针对上述问题的改进可以建模为如下带约束的优化问题：在最大化期望累积回报的同时，策略应满足最小熵约束：
$$\underset{{\pi }_0,\dots ,{\pi }_T}{\max }\mathbb{E}\left[\sum _{t=0}^{T}r\left(s_t,a_t\right)\right]\text{ s.t. }\forall t,\mathcal{H}\left({\pi }_t\right)\ge {\mathcal{H}}_0$$

其中 ${\mathcal{H}}_0$ 表示预定义的最小策略熵阈值。

其中期望收益 $\mathbb{E}\left[{\sum }_{t=0}^{T}r\left(s_t,a_t\right)\right]$ 可以分解为每一时间步回报的和。因为在时刻 $t$ 的策略 ${\pi }_t$ 不会影响到之前时刻的策略 ${\pi }_{t-1}$，我们可以从后往前逐步最大化收益——这其实就是动态规划了。
$$\underset{\text{最后一步最大化}}{\underbrace{\underset{{\pi }_0}{\max }(\mathbb{E}[r(s_0,a_0)]+\underset{\text{第二步但也是最后一步最大化}}{\underbrace{\underset{{\pi }_1}{\max }(\mathbb{E}[\dots ]+\underset{\text{第一步最大化}}{\underbrace{\underset{{\pi }_T}{\max }\mathbb{E}[r(s_T,a_T)]}})}})}}$$

其中 $\gamma =1$。

我们从最后一个时间步 T 开始最大化：
$${\mathbb{E}}_{\left(s_T,a_T\right)\sim {\rho }_{\pi }}\left[r\left(s_T,a_T\right)\right]\text{ s.t. }\mathcal{H}\left({\pi }_T\right)-{\mathcal{H}}_0\ge 0$$
首先，我们定义以下一些函数：
$$\begin{array}{rl}h({\pi }_T)& =\mathcal{H}({\pi }_T)-{\mathcal{H}}_0={\mathbb{E}}_{(s_T,a_T)\sim {\rho }_{\pi }}[-\log {\pi }_T(a_T|s_T)]-{\mathcal{H}}_0\\ f({\pi }_T)& =\{\begin{array}{ll}{\mathbb{E}}_{(s_T,a_T)\sim {\rho }_{\pi }}[r(s_T,a_T)],& \text{if }h({\pi }_T)\ge 0\\ -\infty ,& \text{otherwise}\end{array}\end{array}$$
因而优化问题就转变为如下形式：
$$f\left({\pi }_T\right)\text{ s.t. }h\left({\pi }_T\right)\ge 0$$
为了解决带有不等式约束的最大化优化问题，我们可以构建一个带有拉格朗日乘子（也被称为“对偶变量”） ${\alpha }_T$ 的拉格朗日表达式：
$$L\left({\pi }_T,{\alpha }_T\right)=f\left({\pi }_T\right)+{\alpha }_{T}h\left({\pi }_T\right)$$

考虑如下情况，在给定策略 ${\pi }_T$ 的情况下，我们尝试去找到最小化 $L({\pi }_T,{\alpha }_T)$ 的 ${\alpha }_T$ 值，

• 如果约束被满足，即 $h\left({\pi }_T\right)\ge 0$ ，那么因为我们无法通过 ${\alpha }_T$ 控制 $f({\pi }_T)$ 的值因此最好将其设置为0（译者注：这里我有些无法理解，如果要最小化，那么当 $h\left({\pi }_T\right)\ge 0$ 时 ${\alpha }_T$ 为负数应该会使得目标函数更小？）。因而，$L\left({\pi }_T,0\right)=f\left({\pi }_T\right)$。
• 如果约束被违背了，即 $h\left({\pi }_T\right)<0$，我们可以通过令 ${\alpha }_T\to \infty$ 来使得 $L\left({\pi }_T,{\alpha }_T\right)\to -\infty$。因而 $L\left({\pi }_T,\infty \right)=-\infty =f\left({\pi }_T\right)$。

无论哪种情况，我们都可以得到如下等式：
$$f\left({\pi }_T\right)=\underset{{\alpha }_T\ge 0}{\min }L\left({\pi }_T,{\alpha }_T\right)$$
同时，我们想要去最大化 $f\left({\pi }_T\right)$：
$$\underset{{\pi }_T}{\max }f\left({\pi }_T\right)=\underset{{\alpha }_T\ge 0}{\min }\underset{{\pi }_T}{\max }L\left({\pi }_T,{\alpha }_T\right)$$
因此，为了最大化$f\left({\pi }_T\right)$ ，其对应的对偶问题罗列如下。注意为了保证 ${\max }_{{\pi }_T}f\left({\pi }_T\right)$ 是一个良定的操作（即 $f({\pi }_T)$ 不为 $-\infty$），约束必须要被满足。
$$\begin{array}{rl}\underset{{\pi }_T}{\max }\mathbb{E}[r(s_T,a_T)]& =\underset{{\pi }_T}{\max }f({\pi }_T)\\ & =\underset{{\alpha }_T\ge 0}{\min }\underset{{\pi }_T}{\max }L({\pi }_T,{\alpha }_T)\\ & =\underset{{\alpha }_T\ge 0}{\min }\underset{{\pi }_T}{\max }f({\pi }_T)+{\alpha }_{T}h({\pi }_T)\\ & =\underset{{\alpha }_T\ge 0}{\min }\underset{{\pi }_T}{\max }{\mathbb{E}}_{(s_T,a_T)\sim {\rho }_{\pi }}[r(s_T,a_T)]+{\alpha }_T({\mathbb{E}}_{(s_T,a_T)\sim {\rho }_{\pi }}[-\log {\pi }_T(a_T|s_T)]-{\mathcal{H}}_0)\\ & =\underset{{\alpha }_T\ge 0}{\min }\underset{{\pi }_T}{\max }{\mathbb{E}}_{(s_T,a_T)\sim {\rho }_{\pi }}[r(s_T,a_T)-{\alpha }_T\log {\pi }_T(a_T|s_T)]-{\alpha }_T{\mathcal{H}}_0\\ & =\underset{{\alpha }_T\ge 0}{\min }\underset{{\pi }_T}{\max }{\mathbb{E}}_{(s_T,a_T)\sim {\rho }_{\pi }}[r(s_T,a_T)+{\alpha }_T\mathcal{H}({\pi }_T)-{\alpha }_T{\mathcal{H}}_0]\end{array}$$

我们可以迭代地计算最优的 ${\pi }_T$ 以及 ${\alpha }_T$。首先给定目前的 ${\alpha }_T$，通过最大化 $L\left({\pi }_T^{\star },{\alpha }_T\right)$ 来得到最优的策略 ${\pi }_T^{\star }$。然后将 ${\pi }_T^{\star }$ 代入去最小化 $L\left({\pi }_T^{\star },{\alpha }_T\right)$ 来计算 ${\alpha }_T^{\star }$。想象一下我们用一个神经网络来表示策略，用另一个网络来表示热度参数，这个迭代过程就与训练演员-评论家算法时更新两者的网络参数比较类似了。
$$\begin{array}{rl}{\pi }_T^{\star }& =\arg \underset{{\pi }_T}{\max }{\mathbb{E}}_{(s_T,a_T)\sim {\rho }_{\pi }}[r(s_T,a_T)+{\alpha }_T\mathcal{H}({\pi }_T)-{\alpha }_T{\mathcal{H}}_0]\\ {\alpha }_T^{\star }& =\arg \underset{{\alpha }_T\ge 0}{\min }{\mathbb{E}}_{(s_T,a_T)\sim {\rho }_{{\pi }^{\star }}}[{\alpha }_T\mathcal{H}({\pi }_T^{\star })-{\alpha }_T{\mathcal{H}}_0]\end{array}$$

$\text{因而, }{\max }_{{\pi }_T}\mathbb{E}[r(s_T,a_T)]={\mathbb{E}}_{(s_T,a_T)\sim {\rho }_{{\pi }^{\star }}}[r(s_T,a_T)+{\alpha }_T^{\star }\mathcal{H}({\pi }_T^{\star })-{\alpha }_T^{\star }{\mathcal{H}}_0]$

现在，让我们回到软Q值函数：
$$\begin{array}{rlr}{Q}_{T-1}(s_{T-1},a_{T-1})& =r(s_{T-1},a_{T-1})+\mathbb{E}[Q(s_T,a_T)-{\alpha }_T\log \pi (a_T|s_T)]& \\ & =r(s_{T-1},a_{T-1})+\mathbb{E}[r(s_T,a_T)]+{\alpha }_T\mathcal{H}({\pi }_T)& \\ Q_{T-1}^{\star }(s_{T-1},a_{T-1})& =r(s_{T-1},a_{T-1})+\underset{{\pi }_T}{\max }\mathbb{E}[r(s_T,a_T)]+{\alpha }_T^{\star }\mathcal{H}({\pi }_T^{\star })& \text{; 代入最优策略 }{\pi }_T^{\star }\end{array}$$

因此，当我们进一步退回到 T−1 时间步时，期望收益如下：
$$\begin{array}{rlr}& \underset{{\pi }_{T-1}}{\max }(\mathbb{E}[r(s_{T-1},a_{T-1})]+\underset{{\pi }_T}{\max }\mathbb{E}[r(s_T,a_T])& \\ & =\underset{{\pi }_{T-1}}{\max }(Q_{T-1}^{\star }(s_{T-1},a_{T-1})-{\alpha }_T^{\star }\mathcal{H}({\pi }_T^{\star }))& \text{; 需 }\mathcal{H}({\pi }_{T-1})-{\mathcal{H}}_0\ge 0\\ & =\underset{{\alpha }_{T-1}\ge 0}{\min }\underset{{\pi }_{T-1}}{\max }(Q_{T-1}^{\star }(s_{T-1},a_{T-1})-{\alpha }_T^{\star }\mathcal{H}({\pi }_T^{\star })+{\alpha }_{T-1}(\mathcal{H}({\pi }_{T-1})-{\mathcal{H}}_0\left)\right)& \text{; 对偶问题}\\ & =\underset{{\alpha }_{T-1}\ge 0}{\min }\underset{{\pi }_{T-1}}{\max }(Q_{T-1}^{\star }(s_{T-1},a_{T-1})+{\alpha }_{T-1}\mathcal{H}({\pi }_{T-1})-{\alpha }_{T-1}{\mathcal{H}}_0)-{\alpha }_T^{\star }\mathcal{H}({\pi }_T^{\star })& \end{array}$$
与之前类似，我们有：
$$\begin{array}{rl}{\pi }_{T-1}^{\star }& =\arg \underset{{\pi }_{T-1}}{\max }{\mathbb{E}}_{(s_{T-1},a_{T-1})\sim {\rho }_{\pi }}[Q_{T-1}^{\star }(s_{T-1},a_{T-1})+{\alpha }_{T-1}\mathcal{H}({\pi }_{T-1})-{\alpha }_{T-1}{\mathcal{H}}_0]\\ {\alpha }_{T-1}^{\star }& =\arg \underset{{\alpha }_{T-1}\ge 0}{\min }{\mathbb{E}}_{(s_{T-1},a_{T-1})\sim {\rho }_{{\pi }^{\star }}}[{\alpha }_{T-1}\mathcal{H}({\pi }_{T-1}^{\star })-{\alpha }_{T-1}{\mathcal{H}}_0]\end{array}$$

绿色部分更新 ${\alpha }_{T-1}^{\star }$ 的公式与上面蓝色部分更新 ${\alpha }_T^{\star }$ 的公式具有相同的形式。通过不断重复上述过程，我们可以通过最小化相同的目标函数（译者注：这里的目标函数中的策略不是最优的）来学习每个时间步的最优热度参数：
$$J(\alpha )={\mathbb{E}}_{a_t\sim {\pi }_t}\left[-\alpha \log {\pi }_t\left(a_t|{\pi }_t\right)-\alpha {\mathcal{H}}_0\right]$$
除了根据最小化 $J(\alpha )$ 来显式地学习 $\alpha$ 之外本部分算法与SAC算法没有任何区别（见下图）。

算法实现

总体流程

而SAC with Automatically Adjusted Temperature则是对SAC的延申，其认为在SAC中给定对policy和entropy的固定组合会导致reward不断变化下训练不稳定。应当引入 $\alpha$ 自动调整，在policy探索到新的区域时最后的action不清楚，应调大 $\alpha$ 鼓励agent去探索更多空间，而当区域探索比较充分时，最有action已经比较确定， $\alpha$ 应当调小。

代码实现

略