2025_NIPS_Adaptive Context Length Optimization with Low-Frequency Truncation for Multi-Agent Rein...

文章核心总结与翻译

一、主要内容

该研究针对多智能体强化学习（MARL）中固定长上下文带来的探索效率低、信息冗余等问题，提出了一种结合低频截断的自适应上下文长度优化框架（ACL-LFT）。核心内容包括：

1. 问题背景：MARL需依赖上下文信息处理长期依赖和非马尔可夫环境，但固定长上下文会增加计算开销、引发维度灾难，而现有方法多为静态上下文长度，无法适应动态环境。
2. 核心设计：
   • 引入中央智能体，通过时间梯度分析动态优化上下文长度，结合多头注意力机制设计奖励函数，与分布式智能体目标对齐。
   • 提出基于傅里叶变换的低频截断方法，提取分布式智能体的全局时间趋势，过滤冗余信息，为中央智能体提供高效输入表示。
   • 采用时空解耦训练结构，中央智能体独立优化时间信息，分布式智能体联合训练利用过滤后的时间信息和自身空间信息。
3. 实验验证：在PettingZoo、MiniGrid、Google Research Football（GRF）、SMACv2等多个长期依赖任务中开展实验，验证了该方法优于Transformer、AMAGO等序列处理算法及固定长度方法，且在无跨智能体信息共享场景下仍有效。
4. 理论支撑：证明了自适应上下文长度在动态环境中相较于静态长度的长期优势下界，即随着时间推移，自适应策略的累积奖励差距呈线性增长。

<