Model-free : Keep Various Trajectories: Promoting Exploration of Ensemble Policies

NIPS 2023
paper
利用对集成策略的多样化处理实现智能体的高效探索

Intro

集成模型被广泛应用于RL算法用于提升策略的鲁棒性或者防止价值过估计,但是在探索方面的研究。本文在利用集成策略模型，通过提高对被访问状态动作的多样性，进而提升智能体探索能力。状态-动作访问分布度量量化了使用特定策略时访问特定状态-动作对的频率。多样化的分布度量代表多样化的轨迹数据，这样有利于策略与价值的学习。

Method

Discrepancy Measure

考虑集成策略 { π 1 , π 2 , ⋯   , π N } \{\pi_1, \pi_2,\cdots,\pi_N\} {π1​,π2​,⋯,πN​}的中每个策略的状态动作分布度量为${\rho }^{{\pi }_k}$,并采用一个基于隐变量$z$的条件概率衡量：${\rho }^{{\pi }_k}(s,a)=\rho (s,a|z_k)$。策略的差异定义为分布间的KL散度:${\mathcal{D}}_{\mathcal{K}\mathcal{L}}[{\rho }^{{\pi }_k}\Vert \rho ]:={\mathcal{D}}_{\mathcal{K}\mathcal{L}}\left[\rho (s,a|z_k)||\rho (s,a)\right]$。进一步转化为熵之间的关系
$${\mathbb{E}}_z\left[{\mathcal{D}}_{\mathcal{K}\mathcal{L}}\left(\rho (s,a|z)||\rho (s,a)\right)\right]=\mathcal{H}(\rho )-\mathcal{H}(\rho |z)=\mathcal{H}(z)-\mathcal{H}(z|\rho )$$
其中z随机采样得到，因此对于其熵可以近似为$\mathcal{H}(z)=-\frac{1}{N}{\Sigma }_{k=1}^N\log p(z_k)\approx \log N$
$$\begin{array}{rl}\mathcal{H}(z)-\mathcal{H}(z|\rho )& =\log N+{\mathbb{E}}_{s,a,z}[\log \rho (z|s,a)]\\ & =\log N+{\mathbb{E}}_{s,a}\left[{\mathcal{D}}_{\mathcal{K}\mathcal{L}}(\rho (z|s,a)||q_{\zeta }(z|s,a))\right]+{\mathbb{E}}_{s,a,z}[\log q_{\zeta }(z|s,a))]\\ & \ge \log N+{\mathbb{E}}_{s,a,z}[\log q_{\zeta }(z|s,a))]\end{array}$$
最小化下界，因此最小化${\mathbb{E}}_{s,a}[{\mathcal{D}}_{\mathcal{K}\mathcal{L}}(\rho (z|s,a)||q_{\zeta }(z|s,a))]$，该项的梯度等于
$${\nabla }_{\zeta }{\mathbb{E}}_{s,a}[{\mathcal{D}}_{\mathcal{K}\mathcal{L}}(\rho (z|s,a)||q_{\zeta }(z|s,a))]=-{\mathbb{E}}_{s,a}[{\nabla }_{\zeta }\log q_{\zeta }(z|s,a)]$$加入到强化学习的优化目标中得到
$${\pi }^{\ast }=\arg \underset{\pi \in \Pi }{\max }J(\pi )+\alpha {\mathbb{E}}_{(s,a,z)\sim \rho }[\log q_{\zeta }(z|s,a))]$$

强化学习算法采用TD3，其中策略以及价值网络为N个，对于每一个策略都采用如下梯度更新
$$\nabla J_{total}({\varphi }_k)={\mathbb{E}}_{s\sim \rho }[{\nabla }_a(Q^{\pi }(s,a)+\alpha \log q_{\zeta }(z_k|s,a)){|}_{a={\pi }_{{\varphi }_k}(s)}{\nabla }_{{\varphi }_k}{\pi }_{{\varphi }_k}(s)]$$
为了防止每一个step都要对所有策略优化而导致探索退化，文章采用一种循环优化方法，即随机选择一个策略进行优化。

同时，考虑当概率 $q_{\zeta }$较小时，该梯度非常大。具有小概率的状态动作来推断相应的子策略$z_k$意味着状态-动作很少被子策略$z_k$访问，但经常被其他子策略访问。约束的目标是增加子策略的差异，而使其他子策略访问这个状态-动作将会减少差异。此外，对于具有大概率 $q_{\zeta }$的状态动作，继续增加这个概率将阻止当前子策略探索其他可能的状态动作。因此，使用值裁剪进行约束：${\pi }^{\ast }=\arg {\max }_{\pi \in \Pi }J(\pi )+\alpha {\mathbb{E}}_{s,a,z}[\log \mathrm{clip}(q_{\zeta }(z|s,a),ϵ,1-ϵ))]$

对于Q值优化，采用随机选择批量N的值构成大小M的集合，集合中每个子集取均值，并选择其中的最小作为target估计
$$Q^{target}=r(s,a)+\gamma \underset{i=1,2,...,M}{\min }\frac{1}{N}\sum _{j=1}^N{Q}_i(s,{\pi }_j(s))$$

伪代码

实验