2025_NIPS_Bayesian Ego-graph Inference for Networked Multi-Agent Reinforcement Learning

文章核心总结与翻译

一、主要内容

本文聚焦于网络化多智能体强化学习（Networked-MARL） 的核心挑战——静态交互拓扑导致的适应性差、通信效率低等问题，提出了一种基于贝叶斯变分推断的去中心化演员-评论员框架BayesG。

核心背景

• 现有网络化MARL方法多依赖固定邻居交互，无法适应动态环境（如交通拥堵变化）；
• 集中式框架虽能学习动态拓扑，但依赖全局状态和集中式基础设施，难以应用于真实去中心化系统。

核心方法

1. 随机图基策略：每个智能体基于其物理邻域的采样子图做决策，子图通过贝叶斯变分推断学习，仅依赖局部观测和任务反馈；
2. 潜在交互图推断：将交互掩码视为潜在变量，通过变分分布近似后验分布，利用证据下界（ELBO）目标端到端优化掩码分布与策略；
3. 去中心化执行：智能体仅在自身“自我图（ego-graph）”内操作，通过掩码筛选关键通信链路，裁剪无关连接，保证通信效率。

实验验证

• 在5个自适应交通信号控制（ATSC）基准场景（含167个智能体的大规模场景）中验证；
• 对比6种主流MARL基线方法（如IA2C、NeurComm等），BayesG在性能、收敛速度和可扩展