2025_NIPS_Winner Takes It All: Training Performant RL Populations for Combinatorial Optimization

文章总结与翻译

一、主要内容

本文聚焦于强化学习（RL）在组合优化（CO）问题中的应用，针对NP难组合优化问题单智能体单次推理难以高效求解的核心痛点，提出了一种基于种群的强化学习方法Poppy。

组合优化问题因搜索空间随问题规模呈指数增长，传统精确求解器难以扩展，而现有强化学习方法多依赖单一策略，存在探索不足或受初始策略偏见影响的问题。Poppy通过两步训练流程解决该问题：首先训练一个单智能体模型作为基础，随后将其解码器克隆多份形成智能体种群，通过种群级目标函数训练，使种群内智能体自发实现功能特化，互补覆盖不同问题实例的最优解空间。

在旅行商问题（TSP）、带容量约束的车辆路径问题（CVRP）、0-1背包问题（KP）和作业车间调度问题（JSSP）四大经典NP难问题上的实验表明，Poppy在最优性差距、运行效率和泛化能力上均显著优于现有RL方法，甚至在部分场景下接近专业启发式求解器的性能。

二、创新点

1. 种群驱动的自组织特化：无需手工设计多样性指标或行为标记，通过种群级目标函数（最大化种群在问题实例上的最优回报），使智能体自发特化于不同问题子集，形成互补策略集合。
2. 高效的训练与推理架构：共享编码器参数、仅克隆轻量级解码器，大幅降低种群训练的计算开销；推理时并行部署种群，平衡探索与利用效率。
3. 理论支撑的目标函数：推导了种群目标的策略梯度公式，仅训练在每个问题实例上表现最优的智能体，使训练信号直接服务于种群整体性能提升。