**pymarl3：强化学习多智能体协作的新里程碑**

pymarl3：强化学习多智能体协作的新里程碑

pymarl3 We extend pymarl2 to pymarl3, equipping the MARL algorithms with permutation invariance and permutation equivariance properties. The enhanced algorithm achieves 100% win rates on SMAC-V1 and superior performance on SMAC-V2. 项目地址: https://gitcode.com/gh_mirrors/py/pymarl3

1. 项目介绍

pymarl3 是一个基于IQL-2023论文的强化学习（Reinforcement Learning, RL）库扩展，专注于提升多智能体强化学习（MARL）算法的表现。本项目在pymarl2的基础上进一步发展，引入了排列不变性和排列齐次性属性，使得算法能在处理多智能体环境时更加高效且鲁棒。通过实现超网络（Hyper Networks）策略来生成特定输入组件的不同权重，确保每个输入元素都能被公平对待，同时保持模型对输入顺序变化的一致响应能力。这一增强特别适用于星际争霸II（StarCraft II）微型管理挑战赛（SMAC），在SMAC-V1中取得100%的胜利率，并在更新的SMAC-V2环境中展现出优越性能。

2. 项目快速启动

步骤一：克隆仓库并安装环境

首先，你需要在本地仓库中克隆pymarl3项目，然后按照以下步骤安装必要的依赖项：

git clone https://github.com/tjuHaoXiaotian/pymarl3.git
cd pymarl3
chmod +x install_sc2.sh && ./install_sc2.sh
chmod +x install_dependencies.sh && ./install_dependencies.sh

这些命令将会下载并配置StarCraft II环境及其自定义地图，并安装所需的Python包。

步骤二：运行示例

以快速体验为例，你可以选择一个预设的配置文件来开始训练，例如使用HPN-QMIX在SMAC的一个场景上训练：

CUDA_VISIBLE_DEVICES="0" python src/main.py --config=hpn_qmix --env-config=sc2 with env_args map_name=5m_vs_6m obs_agent_id=True obs_last_action=False runner=parallel batch_size_run=8 buffer_size=5000 t_max=10050000 epsilon_anneal_time=100000 batch_size=128 td_lambda=0.6

记得根据你的GPU情况调整CUDA_VISIBLE_DEVICES参数。

3. 应用案例和最佳实践

pymarl3中的关键应用在于它优化后的多智能体策略，特别是其提出的Hyper Policy Network (HPN)，该架构不仅提升了算法的学习效率，还在不牺牲性能的前提下允许算法应对不固定数量的智能体。对于SMAC中的复杂场景，如不同难度级别的对战任务，pymarl3展示了显著的改进，尤其是在“5m_vs_6m”、“3s5z_vs_3s6z”等标志性地图上达成近乎完美的胜率。

最佳实践中，开发者应当关注如何有效利用HPN的特性，通过调整环境配置、网络结构以及训练参数，找到适合特定任务的最优设置。例如，在处理动态团队成员数量或不同类型单位协同作战时，考虑使用HPN的变体来维持一致的性能表现。

4. 典型生态项目

虽然直接关联的典型生态系统项目没有明确列出，但pymarl3可被视为多智能体强化学习社区的重要贡献之一，特别是在游戏AI、自动化控制、物联网协同等领域的研究者和开发人员中备受关注。它的设计不仅限于星际争霸II的模拟环境，而且理论上能促进任何需要处理多个独立决策实体的场景的应用，推动了MARL领域中模型的通用性和适应性的研究边界。

---

以上就是关于pymarl3项目的简要指南，无论是研究人员还是工程师，都可以借此项目深入了解多智能体系统的前沿技术，并在其基础上开展新的实验和应用开发。

pymarl3 We extend pymarl2 to pymarl3, equipping the MARL algorithms with permutation invariance and permutation equivariance properties. The enhanced algorithm achieves 100% win rates on SMAC-V1 and superior performance on SMAC-V2. 项目地址: https://gitcode.com/gh_mirrors/py/pymarl3