【强化学习】POMO

介绍1种适用于广泛的组合优化问题（Combinatorial Optimization,CO）的多优化策略优化（Policy Optimization with Multiple Optima,POMO）方法。POMO使用1种改进的REINFORCE算法，与以前的方法相比，更能抵抗局部极小值。通过解决3个常见的NP难题：旅行推销员（traveling salesman，TSP）、容量限制车辆路径（capacitated vehicle routing，CVRP）和0-1背包（0-1 knapsack，KP），证明POMO算法的有效性。在TSP100上实现了0.14%的最优差距，同时将推理时间减少了一个数量级以上。

论文链接：https://arxiv.org/abs/2010.16011

代码链接：https://github.com/yd-kwon/POMO

一.动机

假设，有个组合优化问题，用1组节点表示，有1个可训练的策略网络参数θ，1个解决方案，其中第i个动作可以选择节点，根据下面公式，遵循随机策略，一次迭代1个节点生成。