【多智能体强化学习】经典论文COMA：Counterfactual Multi-Agent Policy Gradients

Kuioma

于 2024-11-08 14:32:06 发布

阅读量557

点赞数 2

文章标签：人工智能

本文链接：https://blog.youkuaiyun.com/JTB__JJ/article/details/143625361

版权

这篇论文最主要的贡献就是提出了：反事实基线（counterfactual line）一种用于解决MARL中信用分配的方法。

此前的方法中使用 $g = \nabla_{\theta} \pi \log \pi(u | \tau_{at}) (r + \gamma V(s_{t+1}) - V(s_t))$ ，用于对网络参数进行更新，但是这个方法并没有考虑到个体行动对总体的影响，因为对于所有agent这个V都是相同。

而这个反事实基线就是用于评估个体行动对总体影响的，具体来说这个反事实基线就是针对于与单个智能体，你把除了这个智能体以外的智能体行动固定住，然后这个智能体执行除了原来动作以外的可执行动作，计算中心Q的期望，计算得到的期望就是反事实基线。

也就是 $\sum_{u' \in \mathcal{U}} \pi_a(u'| \tau_a) Q(s, (u-a, u'))$

那么得到了反事实基线有什么用呢？答案是它可以与全局的Q作差就能得到优势函数，然后根据策略梯度来更新参数

$A_a(s, u) = Q(s, u) - \sum_{u' \in \mathcal{U}} \pi_a(u'| \tau_a) Q(s, (u-a, u'))$

$g = \mathbb{E}_{\pi} \left[ \sum_a \nabla_{\theta} \log \pi_a(u_a | \tau_a) A_a(s, u) \right]$

如图为COMA的网络结构，为了更加高效地计算反事实基线，critic网络的输入包括其它智能体的动作，全局状态，该智能体的局部观测，该智能体的ID，以及上一时刻所有智能体的动作。这样在critic网络的输出端就能够直接得到该智能体各个动作的反事实Q值

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Kuioma

关注关注

2
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

COMA: Counterfactual Multi-Agent Policy Gradients笔记

Melody1211的博客

04-01

2314

1. 论文讲了什么/主要贡献是什么文章介绍了COMA算法，主要解决了在集中训练、分散决策的框架中，全局全局奖励的分配问题。文中受到difference rewards的启发，采用了根据当前代理采取的动作相比于当前代理采取默认动作对全局奖励的提高来判断代理对全局奖励的贡献大小，从而对代理的actor进行有效的更新。并根据算法设计了能够有效估计优势函数的方式。 2. 论文摘要： Cooperativ...

COMA（二）：Counterfactual Multi-Agent Policy Gradients 论文讲解

qq_38638132的博客

12-18

5877

Counterfactual Multi-Agent Policy Gradients 论文链接：https://arxiv.org/pdf/1705.08926.pdf 1. 问题提出（解决了什么问题？）在现实世界中，有非常多的问题需要多个单位之间的“合作”才能完成任务，这就需要学习一种非中心式策略的控制系统，即每个agent有着属于自己的决策大脑，而非靠拥有全局信息的决策系统下达指令（毕竟...

参与评论您还未登录，请先登录后发表或查看评论

Counterfactual multi-agent policy gradients.

qq_36616268的博客

02-27

1893

这个是实验室做项目的时候用到的一个算法，我没仔细看原文，主要看了一下github上的code 一般智能体协作存在的问题： 1：joint action随着智能体增加指数级增大 2：由于部分可观测性，每个agent只能观测到自己的信息，没有信息共享（很多实验跑的都是全局信息当做局部，也就不存在这个问题，还有一些直接输入两个agent的信息，理论上也不存在） 3：使用联合动作空间获得的rewa...

阅读COMA:Counterfactual Multi-Agent Policy Gradients

养羊的博客

09-23

1279

COMA题目作者摘要主要方法环境代码其他题目 Counterfactual Multi-Agent Policy Gradients，AAAI2018 作者牛津做多智能体强化学习的大佬组，后续多智能体强化学习的很多工作比如MAVEN也还是这个组做的，这里的Jakob N. Foerster很厉害，现在在FaceBook AI，他通信、多智能体竞争、合作都在研究。摘要单纯的强化学习用到多智能体环境下效果并不是很好，如果完全集中式学习，那么可能联合动作空间太大，学不了；或者说有些环境下要求执行的时候就

文献阅读：Counterfactual Multi-Agent Policy Gradients

weixin_44396511的博客

10-05

238

（1）使用baseline 来从critic中区分不同动作的价值A=Q-V

多智能体强化学习-COMA

dmj3214的博客

08-04

3096

多智能体强化学习-COMA 论文全称：Counterfactual Multi-Agent Policy Gradients 论文地址:https://arxiv.org/abs/1705.08926v1 摘要协作多智能体系统可以很自然地用于建模许多现实世界的问题，例如网络分组路由或自主车辆的协调。因此，需要新的强化学习方法来有效地学习这种系统的分散策略。为此，提出了一种新的多智能体参与者批评方法，称为反事实多智能体策略梯度(COMA)。COMA使用一个集中的批评家来估计Q函数，并使用分散的参与者来优化代

MARL：【多智能体强化学习的参与者-注意力-批评家】

wq6qeg88的博客

03-30

1189

Actor-Attention-Critic for Multi-Agent Reinforcement Learning 多智能体强化学习的参与者-注意力-批评家 Abstract摘要 Reinforcement learning in multi-agent scenarios is important for real-world applications but presents challenges beyond those seen in single-agent set

多智能体强化学习的相关论文

qq_44852767的博客

04-18

2828

书籍 2018-Deep Multi-Agent Reinforcement Learning 2014-Multi-Agent Machine Learning: A Reinforcement Approach 综述 2008-A comprehensive survey of multiagent reinforcement learning 2019-A survey and critiq...

【奖励分配】反事实多智能体策略梯度

qq_18506857的博客

07-10

434

Independent Actor-Critic：缺乏信息时很难学到协调策略，也难以评估单个agent action在整体中的奖励。在agent之间共享参数：只学习一个演员和一个评论家，它们被所有agent使用。此外，计算每个agent的优势函数：将Q值与反事实基线（任何一个agent的改进会提高整体奖励。学习，将全局奖励与agent a的默认动作（，并且agent的动作不依赖于默认动作。，当a的动作发生变化时直接从经验中学习。为agent a的历史观察。及对应的梯度，和下面一样。及对应的梯度，优势函数。

【MADRL】反事实多智能体策略梯度（COMA）算法

最新发布

追风赶月莫停留，平芜尽处是春山

09-10

2909

反事实多智能体策略梯度法COMA (Counterfactual Multi-Agent Policy Gradient) 是一种面向多智能体协作问题的强化学习算法，旨在通过减少策略梯度的方差，来提升去中心化智能体的学习效果。 COMA 算法最早由 DeepMind 团队提出，论文标题为 "Counterfactual Multi-Agent Policy Gradients"，由 Jakob Foerster 等人于 2017 年在 AAAI 会议上发表。适用于局部观察、去中心化决策的多

梯度反传_反事实政策梯度解释

weixin_26746401的博客

09-08

445

梯度反传Among many of its challenges, multi-agent reinforcement learning has one obstacle that is overlooked: “credit assignment.” To explain this concept, let’s first take a look at an example… 在许多挑战中，多主...

多智能体强化学习论文——COMA

我的AI笔记

08-31

1754

存在的问题&研究动机&研究思路遵循CTDE框架。是大规模多智能体训练的常见的范式，训练过程可以使用模拟器的全局状态信息，但是执行过程每个智能体只能依赖于自身的动作-观测值历史（常用循环神经网络来处理history）。在协作的环境中，多智能体面临信誉分配的问题。联合动作产生的全局reward并不能让每个智能体很好的推断出自己对全局的贡献。为了解决信誉分配问题，提出了反事实基准：固定其他智能体的动作，边缘化某个智能体的动作。在agent之间传递梯度和参数共享，是两种常用于发挥集中式cr

COMA(一)： Learning to Communicate with Deep Multi-Agent Reinforcement Learning 论文讲解

qq_38638132的博客

12-15

3201

Learning to Communicate with Deep Multi-Agent Reinforcement Learning 论文讲解论文链接：https://papers.nips.cc/paper/6042-learning-to-communicate-with-deep-multi-agent-reinforcement-learning.pdf （这篇论文是COMA三部曲中...

论文阅读：Scene Dynamics: Counterfactual Critic Multi-Agent Training for Scene Graph Generation

Kivee的博客

12-19

1182

Scene Dynamics 文章我之前一直想着要提高scene graph的质量，最重要的应该是提高对关系的识别能力，也就是提高predcls任务的效果，但是本文提醒了我，把对目标的识别和和关系的识别结合起来，也能有效提高scene graph的质量。本文认为，目前的关系检测算法大都没有将目标的检测放在graph的层次上思考，message passing算是...

Actor-Attention-Critic for Multi-Agent Reinforcement Learning论文学习笔记

weixin_40175225的博客

05-05

6104

论文链接：Actor-Attention-Critic for Multi-Agent Reinforcement Learning 目录）一.改进算法的核心内容i.Attention机制ii.反事实基线iii.交叉熵二.实验部分最近学习了ICML2019的一篇多智能体强化学习的文章，感觉想法很新颖，所以记录一下学习时候的笔记，方便以后查阅。文中有不恰当或者有问题的地方，欢迎在评论区批评...

【COMA】一种将团队回报拆分为独立回报的多智能体算法

qq_38638132的博客

03-05

6749

文章目录1. COMA 解决了什么问题（Motivation）2. COMA 怎么解决独立回报分配问题（Method）2.1 核心思想 counterfactual baseline 的提出2.2 算法大框架 —— 基于 AC 框架的 CTDE（Centralized Training Distributed Execution）模式2.3 Actor 网络设计2.4 Critic 网络设计2.5 训练流程（Update Parameters）3. COMA 效果 COMA 是一种基于 Policy-Ba

战术网络强化学习环境-基于多智能体的场景生成

赛亚茂的博客

09-22

1724

提出了用于生成实际战术场景的战术模型(Tactical Model)的新概念，可将其作为DRL的输入。将游戏环境设计为一种单位能够通过通信网络共享信息以协调他们的方式策略。使用GNN的方法实现个体周围环境状态的综合。

【论文笔记】AAAI2022多智能体强化学习论文五篇

Xixoqw的博客

03-17

6887

修改自我的组会报告ppt。文章目录引子Anytime Multi-Agent Path Finding via Machine Learning-Guided Large Neighborhood SearchMAPF-LNS2: Fast Repairing for Multi-Agent Path Finding via Large Neighborhood SearchScenic4RL: Programmatic Modeling and Generation of Real-time Strat

多智能体强化学习算法

07-29

多智能体强化学习算法有很多种，其中一种是COMA算法。COMA算法是一种基于价值函数值分解的方法，它将团队回报拆分为独立回报的多智能体算法。COMA算法使用Counterfactual Multi-Agent Policy Gradients来解析团队回报。\[1\] 另外，对于多智能体强化学习的仿真软件，有一些可供选择的工具。例如carla和metadrive。carla是一款自动驾驶仿真软件，但它可能不够轻量。而metadrive是另一个仿真软件，可以用于多智能体强化学习的研究。此外，还有一个名为SMARTS的开源项目，也可以用于多智能体强化学习的仿真。\[2\] 最后，关于on-policy和off-policy的概念，on-policy是指使用最新的策略来执行动作并收集数据，而off-policy的训练数据不是最新策略收集的。在on-policy中，使用同一个策略网络去采样动作并执行，并且更新Q值也需要用到该策略网络。\[3\] #### 引用[.reference_title] - *1* *2* *3* [多智能体强化学习理论与算法总结](https://blog.youkuaiyun.com/weixin_39735688/article/details/131260791)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]