2025_NIPS_Towards Principled Unsupervised Multi-Agent Reinforcement Learning

文章核心总结与创新点

主要内容

该研究聚焦无监督多智能体强化学习（MARL），提出以状态熵最大化为核心的无监督预训练框架。首先将问题形式化为凸马尔可夫博弈（cMGs），定义了联合熵、独立熵、混合熵三种目标函数；其次通过理论分析揭示了三类目标的性能边界与收敛特性，指出混合熵在理论 tractability 与实际性能间的平衡优势；接着设计了去中心化算法 TRPE（Trust Region Pure Exploration），用于有限试验场景下的状态熵最大化预训练；最后通过秘密房间和Reacher环境的实验，验证了混合熵目标在稀疏奖励下游任务中具备更优的样本效率和零样本性能。

创新点

1. 首次将单智能体状态熵最大化扩展到多智能体场景，提出基于凸马尔可夫博弈的 principled 形式化框架，定义三类差异化目标函数。
2. 建立多智能体状态熵目标的理论边界，证明混合熵目标的有限试验失配随智能体数量亚线性缩放，兼具理论合理性与实际适用性。
3. 提出首个针对多智能体有限试验场景的去中心化算法 TRPE，通过信任区域和重要性采样实现高效预训练。
4. 实证验证混合熵目标能诱导智能体协同探索，在稀疏奖励任务中实现更快学习速度和更稳定的零样本泛化能力。

---

翻译部分（Markdown格式）

Abstract

在强化学习中，无监督预训练指的是在无法预先获取任务描述（即奖励）的情况下预训练策略，以便