HSD算法

相关资料

1. 论文链接：Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Hierarchical
2. 代码地址：
   算法地址https://github.com/011235813/hierarchical-marl

所提方法是什么

  提出了一种完全合作的分层MARL方法，算法为CTDE框架。智能体学会利用内在和外在奖励结合的潜在技能进行合作。假设所有的智能体都有相同的观测空间和动作空间；每个智能体根据个人的观测采取个人的动作。定义了带有技能发现的分层MARL的目标，并描述为解决优化问题的方法。

假设两层MARL，有$N$个智能体，$z^n\in \mathcal{Z}$表示隐藏变量，每一个对应一个技能。$\mathcal{Z}$用one-hot编码，将$\mathcal{Z}$推广为一个学习的连续嵌入空间（不明白），$\mathcal{Z}$为上级策略${\mu }^n:O\mapsto \mathcal{Z},\forall n\in [N]$的动作空间。${\mu }^n$为智能体局部观测到技能的映射。每次$z^n$的选择都持续进行$t_{\mathrm{s}\mathrm{e}\mathrm{g}}$时间步长，令$T=K{t}_{\mathrm{s}\mathrm{e}\mathrm{g}}$表示一个episode，一共有K个时间点进行上层技能的选择。以选定的潜在技能为条件，并给予智能体局部观测，然后下层的政策${\pi }^n:O\times \mathcal{Z}\mapsto \mathcal{A}$输出一个原始动作。每个$z^n\in \mathcal{Z}$，和隐藏条件${\pi }^n\left(\cdot ;z^n\right)$是一个技能。在上层，$\mathbf{\mu }$学会选择技能来优化外部团队奖励函数 R : S × { A } n = 1 N ↦ R R: \mathcal{S} \times\{\mathcal{A}\}_{n=1}^{N} \mapsto \mathbb{R} R:S×{A}n=1N​↦R。在下层，通过优化下层奖励$R_L$， { π n } n = 1 N \left\{\pi^{n}\right\}_{n=1}^{N} {πn}n=1N​学习选择原始动作来产生有用和可解码的动作。结合这两个层次的学习，将分层MARL视为一个双层优化问题：
$$\begin{array}{l}{\max }_{\mu ,\pi }{\mathbb{E}}_{\mathbf{z}\sim \mu ,P}\left[{\mathbb{E}}_{s_t,a_t\sim \pi ,P}\left[{\sum }_{t=1}^T{\gamma }^{t}R\left(s_t,{\mathbf{a}}_t\right)\right]\right]\\ {\pi }^n\in \underset{\pi }{\mathrm{argmax}}{\mathbb{E}}_{\mathbf{z}\sim \mu ,P}\left[{\sum }_{k=1}^K{\mathbb{E}}_{{\tau }_k^n\sim \pi ,P}\left[R_L\left(z_k^n,{\tau }_k^n\right)\right]\right],\forall n\in [N]\end{array}$$
其中$R_L\left(z^n,{\tau }^n\right):={\sum }_{\left(s_t,a_t\right)\in {\tau }^n}{R}_L\left(z^n,s_t,a_t\right)$表示智能体n沿轨迹获得的下层奖励的总和。