2025_NIPS-Breaking the Performance Ceiling in Reinforcement Learning requires Inference Strategies

文章核心总结

主要内容

该研究聚焦强化学习（RL）在复杂多智能体任务中的性能瓶颈，提出通过推理阶段策略突破零样本（zero-shot）性能上限。研究在17个复杂RL任务（涵盖星际争霸、仓库调度、电路板布线等）中验证，仅增加数秒推理时间，就能使性能平均提升45%，最高达126%。核心是将推理阶段从“单一零样本输出”扩展为“基于时间/算力预算的多轮搜索与适配”，并系统对比了随机采样、树搜索、在线微调、COMPASS（潜空间多样性搜索）四种策略，最终证实SABLE（最优基础模型）+COMPASS组合效果最佳且扩展性最强。

创新点

1. 确立推理策略的核心价值：首次明确推理阶段并非次要后处理，而是复杂RL任务的关键性能驱动因素，打破“仅靠训练优化提升性能”的传统认知。
2. 统一多智能体推理策略框架：将单智能体推理策略（如在线微调、树搜索）扩展至去中心化部分可观测马尔可夫决策过程（Dec-POMDP），适配多智能体协作场景。
3. 大规模实证验证：通过6万+实验、17个高难度任务，系统分析不同时间/算力预算下各策略的表现，提供了实用的性能-预算映射指南。
4. COMPASS策略优化：针对多智能体场景改进COMPASS，通过共享潜空间避免参数爆炸，结合CMA-ES搜索实现高效探索，展现最优扩展性。

---

翻译部分