多智能体强化学习- COMA

COMA：Counterfactual Multi-Agent Policy Gradients

论文地址：https://arxiv.org/pdf/1705.08926.pdf

代码地址：https://github.com/oxwhirl/pymarl/tree/master/

摘要

本文提出一种多主体的actor-critic，称为反事实多主体策略梯度（COMA）。文章采用CTED的训练方式。利用反事实基线来解决多智能体的信用分配问题。文章的主要思想：
1:使用一个集中的critic，在训练的时候获取所有智能体的信息（on-policy）
2:反事实基线：解决信用分配问题
3.critic网络对反事实基线进行高效计算。

方法

作者是基于Actor-Critic结构来设计MARL算法的。最直接的方法是每个智能体利用该结构独立学习，称作independent actor-critic (IAC)。但是IAC有个明显的问题，就是不考虑其它智能体的信息，这将导致训练过程不稳定。（如果IAC在训练的过程中考虑所有智能体的信息，利用CTDE训练方法，则和MADDPG方法没有太大区别）。

首先，COMA使用了一个集中的Critic，critic以全局状态s或者所有智能体的联合行动-观测历史$\tau$作为输入.

（信用分配问题）在协作任务下的多智能体系统中，奖励函数是全局共享的，所以只需要一个critic网络就可以了。但是那样的话，所有的智能体优化目标都是同一个。因此，对每个actor网络来说，从critic那边反向传播过来的误差都是一样的。令每个智能体直接利用该集中式的critic计算策略梯度可以得到：
$$g={\nabla }_{{\theta }^{\pi }}log\pi (u|{\tau }_t^a)(r+\gamma V(s_t+1)-V(s_t))$$

这种“吃大锅饭”式的训练方式显然不是最有效的，因为每个actor网络对整体性能的贡献不一样，贡献大的反向传播的误差应该要稍微小些，贡献小的其反向传播误差应该要大一些。最终的目标都是优化整体的性能。所以，受到差分奖励的影响，作者提出利用counterfactual baseline来解决该问题！
在差分奖励中，每个智能体的奖励设计为：
$$D^{}$$