2025_NIPS_A Principle of Targeted Intervention for Multi-Agent Reinforcement Learning

文章核心总结与创新点

核心内容

本文聚焦多智能体强化学习（MARL）的协调难题，提出以多智能体影响图（MAIDs）为理论框架，构建“目标干预范式”，通过仅干预单个智能体而非全局系统，引导整个多智能体系统达成“主任务目标+额外期望结果”的复合目标。文中设计了“策略前干预（PSI）”方法，将因果推理融入MARL，通过预策略模块整合到通用MARL算法中，在MPE和Hanabi环境中验证了其有效性，同时利用MAIDs的关联图分析了不同MARL学习范式的可解性。

创新点

1. 提出“MARL交互范式”概念（与学习范式正交），明确自组织、全局干预、目标干预三类范式，并用MAIDs可视化分析其结构与依赖关系。
2. 设计目标干预范式，仅针对单个智能体干预即可引导全局协调，解决了全局干预在大规模系统中不切实际的问题。
3. 提出PSI方法，基于因果推理最大化干预的因果效应，确保系统收敛到兼具主任务目标和额外期望结果的偏好纳什均衡。
4. 利用MAIDs的关联图分析MARL学习范式的可解性，为不同交互范式下的算法选择提供理论依据。

---

译文（Markdown格式）

Abstract

引导协作式多智能体强化学习（MARL）朝向期望结果发展具有挑战性，尤其是在大规模MARL中对整个多智能体系统进行人工全局引导不切实际的场景下。另一方面，设计外部机制（如内在奖励和人类反馈）来协调智能体大多依赖实证研究，缺乏易