2025_NIPS_Rainbow Delay Compensation: A Multi-Agent Reinforcement Learning Framework for Mitigating

文章核心总结与翻译

一、主要内容

文章聚焦多智能体系统（MASs）中普遍存在的观测延迟问题，提出了一套完整的解决方案：

1. 定义了去中心化随机个体延迟部分可观测马尔可夫决策过程（DSID-POMDP），为含延迟观测的多智能体系统提供统一数学模型。
2. 设计彩虹延迟补偿（RDC）训练框架，通过观测重建、课程学习和知识蒸馏三大核心模块，缓解固定与非固定延迟带来的性能损耗。
3. 在MPE和SMAC两大主流多智能体强化学习基准上验证，RDC增强的算法在各类延迟场景下性能接近无延迟理想水平，且具备良好泛化性。

二、创新点

1. 建模创新：提出DSID-POMDP模型，首次明确多智能体系统中不同观测组件的独立随机延迟特性，突破传统固定延迟建模局限。
2. 框架创新：设计RDC通用框架，包含两种补偿器模式（Flash快速重建、Echo自回归迭代），兼容主流价值分解类算法（VDN、QMIX）。
3. 方法创新：融合延迟协调评论家、演员课程学习和低延迟教师模型知识蒸馏，协同解决观测重建与策略优化的耦合问题。
4. 实现创新：基于Transformer和GRU网络实现补偿器，支持历史观测与动作序列输入，适配不同延迟分布场景。

---

三、核心部分翻译（Markdown格式）

Abstract

在现实世界的多智能体系统（MASs）中，观测延