LEARNING TO SCHEDULE COMMUNICATION IN MULTI-AGENT REINFORCEMENT LEARNING

最新推荐文章于 2024-03-30 21:55:18 发布
最新推荐文章于 2024-03-30 21:55:18 发布
阅读量4.2k 收藏 3
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 强化学习 深度强化学习 论文研读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_41697507/article/details/93465924
SchedNet是一种用于多智能体深度强化学习的框架，解决在有限通信带宽和共享通信介质环境下，智能体如何自我调度、编码消息和根据接收到的信息选择行动的问题。通过学习每个代理部分观察信息的重要性，SchedNet决定哪些代理有权广播信息。在合作通信和导航以及捕食者-猎物的应用中，SchedNet相对于其他机制（如无通信和简单调度）表现出显著的性能优势。
ABSTRACT

Many real-world reinforcement learning tasks require multiple agents to make se- quential decisions under the agents’ interaction, where well-coordinated actions among the agents are crucial to achieve the target goal better at these tasks. One way to accelerate the coordination effect is to enable multiple agents to communi- cate with each other in a distributed manner and behave as a group. In this paper, we study a practical scenario when (i) the communication bandwidth is limited and (ii) the agents share the communication medium so that only a restricted num- ber of agents are able to simultaneously use the medium, as in the state-of-the-art wireless networking standards. This calls for a certain form of communication scheduling. In that re

了解本专栏 订阅专栏 解锁全文 超级会员免费看
多智能体强化学习：Learning to Cooperate, Compete, and Communicate
weixin_41697507的博客
09-28 1524
Multiagent environments where agents compete for resources are stepping stones on the path to AGI. Multiagent environments have two useful properties: first, there is a natural curriculum—the difficulty of the environment is determined by the skill of your
A Guide Resource for Deep Reinforcement Learning
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
12-24 932
A Guide Resource for Deep Reinforcement Learning 1. About this work: This deep intensive learning database was initiated by the 【 Deep Reinforcement Learning Laboratory(DeepRL-Lab) 】and was jointly c...
Learning to Communicate with Deep Multi-Agent Reinforcement Learning笔记
Melody1211的博客
04-01 774
1. 论文讲了什么/主要贡献是什么 文章提出了通过深度学习的方法，对代理间的通信协议进行学习的思想。从而通过代理之间的通信解决多代理强化学习问题。 2. 论文摘要： We consider the problem of multiple agents sensing and acting in environments with the goal of maximising their share...
多智能体强化学习_多智能体强化学习的几种Best Practice
weixin_39812577的博客
11-30 1760
（草稿阶段，完成度40%）这里分享一下A Survey and Critique of Multiagent Deep Reinforcement Learning这篇综述里面介绍的多智能体强化学习Best Practice。这部分内容大部分来自第四章，但是我根据自己的理解加上了其他的内容。1.改良Experience replay buffer1.1 传统的Single-agent场景之下的Re...
Learning to Communicate with Deep Multi-Agent Reinforcement Learning 记录
weixin_41003199的博客
09-18 395
多智能体通信。
多智能体强化学习Efficient Communication in Multi-Agent Reinforcement Learning via Variance Based Control
qq_43749262的博客
05-17 870
多代理强化学习 (MARL) 最近受到广泛关注，因为它适用于广泛的实际应用。然而，实现代理之间的有效通信一直是 MARL 中的首要问题。在这项工作中，我们提出了基于方差的控制（VBC），这是一种简单而有效的技术，可以提高 MARL 中的通信效率。通过在训练阶段限制代理之间交换的消息的方差，可以有效地消除消息中的噪声成分，同时可以保留有用的部分并供代理使用以获得更好的性能。
多智能体强化学习（MARL）近年研究概览
热门推荐
Paper weekly
03-15 1万+
©PaperWeekly 原创 ·作者｜李文浩学校｜华东师范大学博士生研究方向｜强化学习最近由于写论文的原因，梳理了一下近几年的多智能体强化学习（MA...
MALib:基于群体的多智能体强化学习并行框架
wq6qeg88的博客
03-30 1333
训练能够适应各种复杂环境和代理的智能代理一直是一个长期存在的挑战。处理这些任务的可行方法是多智能体强化学习(MARL)[2]，它在解决实时策略游戏[45]、交通灯控制[47]和网约车[50]等多智能体任务方面显示出巨大的潜力。特别是，PB-MARL算法结合了深度强化学习(DRL)和动态种群选择方法(例如，博弈论[9]，进化策略[34])来生成自动课程。
【三】多智能体强化学习（MARL）近年研究概览 ｛Analysis of emergent behaviors（行为分析)_、Learning communication（通信学习）｝
丨汀、的博客
07-21 2795
下面遵循综述Is multiagent deep reinforcement learning the answer or the question? A brief survey对多智能体强化学习算法的分类方法，将 MARL 算法分为以下四类： Analysis of emergent behaviors（行为分析） Learning communication（通信学习） Learning cooperation（协作学习） Agents modeling agents（智能体建模） 下面我..
learning to communicate with deep multi-agent reinforcement learning
叶强的博客
09-11 982
learning to communicate with deep multi-agent reinforcement
IC3Net:ICLR 2019论文代码
05-05
IC3网 该存储库包含IC3Net论文的参考实现（ICLR 2019接受），了解何时在多代理协作和竞争性任务中进行大规模沟通，可在 引用 如果您在工作中使用此代码或IC3Net，请引用以下内容： @article{singh2018learning, title={Learning when to Communicate at Scale in Multiagent Cooperative and Competitive Tasks}, author={Singh, Amanpreet and Jain, Tushar and Sukhbaatar, Sainbayar}, journal={arXiv preprint arXiv:1812.09755}, year={2018} } 独立环境版本 查找gym-starcraft ，在这个仓库： 在此存储库中找到ic3n
多智能体强化学习
Trony的博客
08-12 1495
Multi-Agent Reinforcement Learning Concepts and Challenges Setting 多智能体强化学习通常有四种设定 Fully cooperative 完全合作关系，这种设定里面，Agents的利益一致，获得的奖励相同，有共同的目标。 Fully competitive 完全竞争关系，一方的收益是另一方的损失。典型的代表就是0和博弈，双方获得的奖励的总和为0. Mixed Cooperative & comepetitive 既有竞
论文笔记：Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments
a1424262219的博客
10-25 1101
Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments 2017-10-2516:38:23 　【Project Page】https://blog.openai.com/learning-to-cooperate-compete-and-communicate/ 　 ...
读书笔记15：VAIN:Attentional Multi-agent Predictive Modeling
b224618的博客
09-05 895
https://arxiv.org/pdf/1706.06122.pdf 摘要：首先介绍背景，multi-agent predictive modeling是理解很多系统的关键；然后一句话介绍现有情况，最近IN模型被提出，用来解决multi-agent physical system，然后指出这个系统的不足是计算量随着interaction的指数变化；之后提出本文提出一个随着agent数量线性变...
e325: attention怎么解决_Multi-Actor-Attention-Critic (MAAC)
weixin_32380501的博客
01-10 882
第一次写知乎文章，以前的论文整理都是自己收起来的，但这篇论文写得真的太好了，发到知乎上一方面是让自己更认真地看paper，理清楚脉络，另外也是希望如果有理解错误的地方dalao们可以指正。提前谢过。这篇文章解决的问题和18年PKU那篇 NIPS（Learning Attentional Communication for Multi-Agent Cooperation）一样，但两者的解决思路截然不...
About communication in Multi-Agent Reinforcement Learning
weixin_41697507的博客
06-22 1062
Communication is one of the components of MARL and an active area of research itself, as it might influence the final performance of agents, and it affects coordination or negotiation directly. Effect...
ATOC注意交流模型
dmj3214的博客
03-16 1513
ATOC:Learning Attentional Communication for Multi-Agent Cooperation 论文链接：https://arxiv.org/pdf/1805.07733.pdf ATOC注意沟通模型，该模型学习何时需要沟通以及如何整合共享信息进行合作决策，使智能体在大规模多智能体的部分可观测分布式环境下学习高效的通信。 ATOC由一个策略网络、一个Q网络、一个注意单元和一个通信通道组成。这个模型的精彩之处在于受视觉注意力循环模型的启发，设计了一种注意力单元，它可以接
【综述】【合作式多智能体深度强化学习研究进展】
wq6qeg88的博客
03-30 1614
近年来，深度强化学习在多智能体系统中取得了重大进展。在这篇综述文章中，我们重点介绍了多智能体强化学习（MARL）算法的最新方法。特别是，我们重点介绍了五种关于建模和解决合作多智能体强化学习问题的常见方法：（I）独立学习者，（II）完全可观察的批评家，（III）价值函数分解，（IV）共识，以及（IV）学习沟通。首先，我们在相关论文中详细阐述了这些方法、可能的挑战以及如何缓解这些挑战。如果适用，我们会进一步在每个类别的不同论文之间建立联系。接下来，我们将介绍MARL中一些新兴的研究领域以及相关的近期论文。
Multiple Landmark Detection using Multi-AgentReinforcement Learning基于多智能体强化学习的多重地标检测
luemeon的博客
09-27 1399
2019年，开源，少量标注
Mean Field Multi-Agent Reinforcement Learning
最新发布
02-28
### 平均场多智能体强化学习简介 平均场多智能体强化学习（Mean Field Multi-Agent Reinforcement Learning, MFMARL）是一种处理大规模多智能体系统的有效框架。当涉及大量相互作用的个体时，传统的方法难以应对计算复杂性和维度灾难的问题。MFMARL通过引入平均场理论简化了这一挑战。 #### 基本概念 在该领域内，研究者们利用统计物理中的平均场近似方法来描述群体行为模式。具体来说，不是单独考虑每一个agent与其他所有agents之间的互动关系，而是假设存在一个连续分布表示整个种群的状态特征，并以此为基础构建决策机制[^1]。 对于每个独立行动者的最优策略而言，它不仅依赖于当前所处的具体情境，还受到整体背景的影响——即所谓的“宏观环境”。这种设定允许算法专注于局部信息而忽略掉不必要的细节干扰项，从而大大降低了问题难度并提高了收敛速度。 #### 方法论特点 - **状态空间压缩**：借助概率密度函数刻画大数量级下参与者集合的整体特性； - **动态平衡建模**：采用微分方程组表达随时间演化的趋势规律； - **分布式更新规则**：支持异步通信方式下的参数调整过程； ```python import numpy as np def mean_field_update(state_distribution, reward_function, transition_matrix): """ Perform one step update using Mean Field Theory. Parameters: state_distribution (np.array): Current distribution over states. reward_function (callable): Function mapping from state to expected immediate rewards. transition_matrix (np.ndarray): Matrix describing transitions between states. Returns: tuple: Updated state distribution and average reward. """ avg_reward = np.sum(reward_function * state_distribution) next_state_dist = np.dot(transition_matrix.T, state_distribution) return next_state_dist, avg_reward ``` 此代码片段展示了如何基于给定的状态转移矩阵和即时奖励函数执行一次迭代更新操作。这里的关键在于维护一个反映全局态势的概率向量`state_distribution`，并通过线性变换预测未来的演变方向。 #### 应用实例 实际应用场景广泛存在于交通流量管理、金融市场分析以及社交网络效应模拟等方面： - **智慧城市建设**：优化公共交通调度方案，减少拥堵现象发生频率； - **经济政策评估**：仿真不同调控措施对企业投资和个人消费倾向产生的长远影响； - **游戏AI开发**：创建更加逼真的人工对手角色，提升用户体验的真实感与趣味性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Adam婷

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值