多智能体MAPPO代码环境配置以及代码讲解

原创 已于 2022-10-27 16:34:32 修改 · 1.1w 阅读 · 57 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #深度学习 #pytorch #人工智能

于 2021-11-23 20:59:25 首次发布

多智能体MAPPO代码环境配置以及代码讲解

MAPPO代码环境配置

MAPPO是2021年一篇将PPO算法扩展至多智能体的论文，其论文链接地址为：https://arxiv.org/abs/2103.01955
对应的官方代码链接为https://github.com/marlbenchmark/on-policy

代码文件夹内容讲解

所有核心代码都位于 onpolicy 文件夹中。 algorithms/子文件夹包含 MAPPO 的特定于算法的代码。

 envs/ 文件夹包含 MPE、SMAC 和 Hanabi 的环境的实现。

 用于执行训练部署和策略更新的代码包含在 runner/ 文件夹中 - 每个环境都有一个runner。

 可以在 scripts/ 文件夹中找到用于使用默认超参数进行训练的可执行脚本。 这些文件按以下方式命名：train_algo_environment.sh。 在每个文件中，映射名称（在 SMAC 和 MPE 的情况下）可以更改。

 可以在 scripts/train/ 文件夹中找到每个环境的 Python 训练脚本。

 config.py 文件包含相关的超参数和环境设置。

配置开始

本配置在Ubuntu 16/18/20，可以在CPU或GPU上跑程序，本文按照GPU版本配置环境

  1. 创建虚拟环境： conda create -n MAPPO python==3.6.1
  2. 激活环境： conda activate MAPPO
  3. 安装GPU版本的pytorch：torch1.5.1+cuda10.1以及torchision0.6.1+cuda10.1
  4. 下载MAPPO代码后进入on-poilcy文件夹：cd on-policy
  5. 安装本环境：pip install -e
  6. 按照requirement.txt文件选择性安装包，其中tensorboard如果用gpu版本的话：安装tensorboard-gpu2.0.0，然后安装tensorboardX:pip install tensorboardX=2.0.0，若用cpu版本的tensorboard可以pip install tensorboard==1.14
  7. 最后一步：安装seaborn：pip install seaborn
  8. 三步进行运行程序：
  9. cd onpolicy/scripts
  10. chmod +x ./train_mpe.sh
  11. ./train_mpe.sh

配置完成后的一些常见问题

1.出现ImportError: cannot import name ‘get_backend’
解决方法：tensorflow版本问题：sudo pip install tensorflow --upgrade，如果还不行查看：

最低0.47元/天 解锁文章
【强化学习原理+项目专栏】必看系列：单智能体、多智能体算法原理+项目实战、相关技巧（调参、画图等)、趣味项目实现、学术应用项目实现
丨汀、的博客
06-02 3926
【强化学习原理+项目专栏】必看系列：单智能体、多智能体算法原理+项目实战、相关技巧（调参、画图等)、趣味项目实现、学术应用项目实现
多智能体协作项目实战指南：基于 PettingZoo 架构的训练环境构建与策略协同实现
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
05-03 1402
多智能体系统在智能交通、博弈推理、资源调度等复杂任务中具有天然优势，而在构建训练体系时，如何**构建高复用、高扩展、高可控的多智能体环境**成为核心难题。PettingZoo 作为当前主流的多智能体环境接口标准，提供了类 Gym 化 API、轮流控制机制、代理交互规范，极大简化了多智能体实验与工程落地的结构复杂度。本文基于 PettingZoo 架构，从环境封装、训练主循环、策略协同到典型算法接入（如 MADDPG、MAPPO），系统性解析构建一个“可自定义、可扩展、可调试”的协同智能体实验平台的全过程。最
掼蛋环境中基于PyTorch的mappo算法实现与自博弈训练-含可运行代码
01-07
内容概要：本文详细介绍了在掼蛋游戏中应用多代理PPO（MAPPO）算法的过程。主要步骤包括在预训练的DMC模型基础上构建PPO网络架构，创建符合游戏特点的MAPPO智能体以完成集中式训练，还实现了模拟掼蛋游戏操作与决策流程的核心逻辑，并采用多线程技术实现了自博弈机制确保智能体的有效迭代进化。文中不仅展示了详细的代码实现路径如策略网络和价值网络的设计及其相互协作机制还有状态储存、评价和优化更新机制。还包括自博弈训练时对智能体表现的评估，从而有效提升了智能体的学习效率。 适合人群：从事强化学习研究、对棋牌游戏算法感兴趣的开发者或研究人员，具备一定的Python和PyTorch编程基础，熟悉多线程并发处理机制的人士。 使用场景及目标：通过在掼蛋这种复杂且具挑战性的多人非完全信息环境下进行MAPPO算法的应用，旨在解决传统单代理方法难以直接迁移的问题。该实验有助于加深对于MAPPO机制的理解，在提高智能体策略表现的同时也为其他类似领域的探索提供了新的思路和技术支持。 其他说明：需要注意的是，提供的代码中包含了一个简化版本的掼蛋游戏操作逻辑以及部分未明确给出细节的组件如DMC预训练模型，实际应用可能还需进一步改进和定制化修改。此外，考虑到多线程带来的性能优化及潜在同步问题，在大规模并行训练场景下，应该更加关注线程安全性和性能瓶颈。
【环境配置记录】配置多智能体强化学习环境MAPPO，Ubuntu20.04 显卡4090
qq_51913395的博客
10-03 1036
（注意：cuda=12.1，cuda版本需满足显卡驱动要求，4090要求11.8
【强化学习：12APPO与MAPPO算法深度解析：原理、流程与对比】
最新发布
qq_45832651的博客
10-14 693
摘要（150字）： APPO与MAPPO均基于PPO框架，但针对不同场景优化。APPO专注于单智能体异步训练，通过多Actor并行采样、Learner集中更新的架构提升效率，适用于开放世界游戏、工业控制等任务；MAPPO则面向多智能体协作，采用CTDE（中心化训练-分散执行）架构，通过全局Critic评估团队价值，解决环境非平稳性问题，适配无人机集群、多机协同等场景。两者核心差异体现在样本处理（异步采样vs中心化价值评估）与数学建模（单/多智能体目标函数），需根据任务类型选择算法。
The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games 阅读笔记
weixin_40679158的博客
02-14 5391
“The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games” 阅读笔记 MAPPO算法是PPO算法专用于多智能体环境的变体。PPO作为on-policy算法，在多智能体环境下有着与其他off-policy的算法相比有着相同的采样效率，并在大多数场景下有着更好的表现。MAPPO算法可以同时作为CTDE（集中训练，分散执行， 有集中的价值函数）算法或分散学习算法（分散的价值函数）。 PPO代码实现细节和决定PPO算法表现的关键超参
【深度强化学习】MAPPO 代码学习
见见大魔王
08-04 6627
MAPPO 的开源代码库：https://github.com/marlbenchmark/on-policy。MAPPO 的主要实现在 onpolicy 中实现，接下来逐一对 MAPPO 算法代码文件进行解读。最后是用来计算损失，更新 actor 和 critic 网络，的训练类，实现在。首先是基本的 actor-critic 架构，在文件。随后是 MAPPO 的策略类，其实现在。...
多智能体强化学习--MAPPO(pytorch代码详解)
qq_45889056的博客
01-28 3680
2.box类。
多智能体强化学习MAPPO源代码解读
热门推荐
onlyyyyyyee的博客
07-19 2万+
多智能体强化学习MAPPO源代码解读 在上一篇文章中，我们简单的介绍了MAPPO算法的流程与核心思想，并未结合代码对MAPPO进行介绍，为此，本篇对MAPPO开源代码进行详细解读。本篇解读适合入门学习者，想从全局了解这篇代码的话请参考博主小小何先生的博客。 论文名称： The Surprising Effectiveness of MAPPO in Cooperative, Multi-Agent Games 代码下载地址： https://github.com/tinyzqh/light_mappo 这是
MAPPO算法详解与多智能体强化学习实践
本文围绕MAPPO的核心机制、理论基础、工程实现技巧以及代码结构展开深入解析，全面揭示该算法在多智能体强化学习领域的重要地位和实际应用价值。 首先，MAPPO的核心理念建立在CTDE范式之上。在多智能体环境中，每个...
让多个 Agent 协同工作：PettingZoo 多智能体项目实战
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
04-10 1119
当你搭建好一个 Agent，还不足以应对真实世界的复杂任务。 真正强大的 AI 系统，往往是多个 Agent 各司其职、互相协作： 有的负责感知，有的负责判断，有的负责行动，有的负责校验。 **本章我们将首次进入多智能体系统的动手实战阶段，基于强化学习领域中广泛使用的 PettingZoo 多 Agent 环境，亲自训练和运行一个协作型智能体系统。** > 从环境选择、智能体定义、训练算法，到策略可视化与代码封装，一步步带你从 0 落地一个真正的多 Agent 协同系统。
MADRL多智能体近端策略优化（MAPPO）算法
09-10
【MADRL】多智能体近端策略优化（MAPPO）算法  =================================================================================== 包含MAPPO算法实现的整个项目代码 =================================================================================== 多智能体近端策略优化算法 MAPPO（Multi-Agent Proximal Policy Optimization）是PPO（Proximal Policy Optimization）在多智能体环境中的一种扩展，它通过在多智能体系统中引入PPO的策略优化机制，实现了在协作和竞争环境中更加高效的策略学习。MAPPO是一种基于策略梯度的多智能体强化学习算法，特别适用于混合协作和竞争的多智能体场景。
Mappo - Map Your Life-开源
04-24
基于“ Google Map”的网络应用程序可与其他人共享位置。 创建可以与朋友或家人共享或公开的地图和分类标记。
【MADRL】多智能体近端策略优化（MAPPO）算法
博主关注人工智能、强化学习、嵌入式等||985高校A+学科研究生、猿龄六年||优快云博客专家、2024年博客之星TOP33、华为云享专家、人工智能领域优质创作者。
09-10 1万+
多智能体近端策略优化算法MAPPO（Multi-Agent Proximal Policy Optimization）是PPO（Proximal Policy Optimization）在多智能体环境中的一种扩展，它通过在多智能体系统中引入PPO的策略优化机制，实现了在协作和竞争环境中更加高效的策略学习。MAPPO是一种基于策略梯度的多智能体强化学习算法，特别适用于混合协作和竞争的多智能体场景。
MAPPO算法流程和代码解读
weixin_41106546的博客
04-03 1万+
代码在rMAPPOPolicy.py文件#根据env_core可知每个agent有14个特征量（obs)。5个动作(action),总共2个agentself.actor = R_Actor(args, self.obs_space, self.act_space, self.device)#actor的输入是一个智能体的输入。即14。
MAPPO 算法的深度解析与应用和实现
Achang的博客
08-09 3159
PPO 属于 on-policy 的算法，所以被认为它的样本效率比较低。在多智能体的环境下，off-policy的策略被广泛使用。在这项工作中，我们仔细研究了PPO在合作多智能体设置下的性能。我们展示了基于ppo的多智能体算法在四种流行的多智能体测试平台(粒子世界环境、星际争霸多智能体挑战、Google Research Football和Hanabi挑战)中实现了惊人的强大性能，只需要最小的超参数调整，并且没有任何特定领域的算法修改或架构。
多智能体强化学习(二) MAPPO算法详解
小小何先生的学习之旅
05-26 2万+
文章目录PPO实战技巧(未写完)MAPPO算法伪代码详解MAPPO实战技巧参考   MAPPO论文全称为：The Surprising Effectiveness of MAPPO in Cooperative, Multi-Agent Games   官方开源代码为：https://github.com/marlbenchmark/on-policy   这篇文章更多的提出的是一些工程上的trick，并且有较详细对比协作式多智能体的一些文章。   多智能体强化学习算法大致上可以分为两类，中心式和分散式。中
多智能体深度强化学习：MAPPO&MADDPG&MASAC算法及其伪代码
lhyyds的博客
11-18 1万+
多智能体深度强化学习（Multi-Agent Deep Reinforcement Learning, MADRL）是一类方法，旨在解决多个智能体在动态环境中交互、学习和优化的问题。以下是三种主流算法：MAPPO、MADDPG 和 MASAC 的详细说明及伪代码。
MAPPO动作类型改进（二）——MAPPO+连续环境
onlyyyyyyee的博客
06-28 2559
以上改进都来自个人经验，正确性还有需要结合具体环境验证，如有错误，欢迎指正同时大家有疑问可评论留言，如想要已经改好的代码可联系本人（可提供指导），邮箱2360278536@qq.com对MAPPO算法代码总体流程不太了解，可以参考多智能体强化学习MAPPO源代码解读对MAPPO算法理论知识不太了解，可以参考多智能体强化学习之MAPPO理论解读和多智能体强化学习(二) MAPPO算法详解MAPPO+离散环境讲解。
独立智能体MAPPO代码
01-08
### 关于独立智能体使用MAPPO算法的代码实现 对于多个独立智能体应用MAPPO（Multi-Agent Proximal Policy Optimization），核心在于如何处理集中式的评论家（critic）以及分布式的行为者（actor）。为了确保每个智能体能够基于全局信息优化策略，同时保持计算效率和简化设计[^1]，通常采用的方法是在训练过程中引入一个共享的中央评论家来评估状态价值。 下面是一个简单的Python伪代码框架用于展示两个独立智能体环境下的MAPPO实现： ```python import torch from torch import nn, optim import numpy as np class ActorCritic(nn.Module): def __init__(self, obs_dim, action_dim): super(ActorCritic, self).__init__() # 定义行为者的网络结构 self.actor = nn.Sequential( nn.Linear(obs_dim, 64), nn.ReLU(), nn.Linear(64, action_dim), nn.Softmax(dim=-1)) # 定义评论家的网络结构 (仅用于中心化学习) self.critic = nn.Sequential( nn.Linear(sum([obs_dim]*num_agents), 64), # 假设有 num_agents 数量的智能体 nn.ReLU(), nn.Linear(64, 1)) def forward(self, x): raise NotImplementedError def act(self, state): probs = self.actor(state) dist = Categorical(probs=probs) action = dist.sample() log_prob = dist.log_prob(action).unsqueeze(-1) return action.item(), log_prob def train_policy(agent_policies, central_critic, transitions): states_list, actions_list, rewards_list, next_states_list, dones_list = zip(*transitions) all_states = torch.cat(states_list, dim=0) # 将所有智能体的状态拼接在一起形成全局视图 values = central_critic(all_states) advantages = compute_advantages(rewards_list, values.detach().numpy()) policy_losses = [] for i in range(num_agents): actor = agent_policies[i] _, old_log_probs = map(lambda s: actor.act(s)[1], states_list[i]) new_log_probs = list(map(lambda s,a: actor.act(torch.tensor(s))[1], next_states_list[i],actions_list[i])) ratio = torch.exp(new_log_probs - old_log_probs) surr1 = ratio * advantages[:,i].reshape((-1,1)) surr2 = torch.clamp(ratio, 1-eps_clip, 1+eps_clip)*advantages[:,i].reshape((-1,1)) loss = (-torch.min(surr1,surr2)).mean() optimizer.zero_grad() loss.backward(retain_graph=True) optimizer.step() policy_losses.append(loss.item()) return sum(policy_losses)/len(policy_losses) # 初始化参数和其他组件... num_agents = 2 agent_policies = [ActorCritic(input_dims, output_dims) for _ in range(num_agents)] central_critic = CentralizedCritic(sum([input_dims]*num_agents)) optimizer = Optimizer(...) ``` 此段代码展示了如何构建一个多智能体系统的模型，在该系统中每个智能体都有自己的行动决策机制（即`actor`部分），而所有的智能体会共同依赖同一个评价体系（即`central_critic`部分）。通过这种方式可以在不违反单一职责原则的情况下提高整体表现力[^2]。当涉及到更多数量级上的智能体时，这种方法的优势尤为明显，因为其允许更有效的协作并超越传统的单智能体强化学习方法[^3]。
评论 8
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值