【强化学习】POMO

最新推荐文章于 2025-06-15 22:15:42 发布

lly_csdn123

最新推荐文章于 2025-06-15 22:15:42 发布

阅读量1.2k

点赞数 17

文章标签：强化学习组合优化神经网络 AI 人工智能 python

本文链接：https://blog.youkuaiyun.com/lly_csdn123/article/details/143687103

版权

介绍1种适用于广泛的组合优化问题（Combinatorial Optimization,CO）的多优化策略优化（Policy Optimization with Multiple Optima,POMO）方法。POMO使用1种改进的REINFORCE算法，与以前的方法相比，更能抵抗局部极小值。通过解决3个常见的NP难题：旅行推销员（traveling salesman，TSP）、容量限制车辆路径（capacitated vehicle routing，CVRP）和0-1背包（0-1 knapsack，KP），证明POMO算法的有效性。在TSP100上实现了0.14%的最优差距，同时将推理时间减少了一个数量级以上。

论文链接：https://arxiv.org/abs/2010.16011

代码链接：https://github.com/yd-kwon/POMO

一.动机

假设，有个组合优化问题，用1组节点 $\left \{ v_{1}, v_{2},..., v_{M} \right \}$ 表示，有1个可训练的策略网络参数θ，1个解决方案 $\tau =\left \{ a_{1}, a_{2},..., a_{M} \right \}$ ，其中第i个动作 $a_{i}$ 可以选择节点 $v_{j}$ ，根据下面公式，遵循随机策略，一次迭代1个节点生成。

其中，s是状态。

二.方法

1.多启动节点探索

POMO首先指定N 个不同的节点 $\left \{ a_{1}^{1},a_{1}^{2},..,a_{1}^{N} \right \}$ 作为起始节点。网络通过蒙特卡洛采样N个轨迹解决方案 $\left \{ \tau _{}^{1},\tau_{}^{2},..,\tau_{}^{N} \right \}$ ，轨迹被定义为如下：

2.策略梯度的共享基准

POMO基于REINFORCE算法。采样了1个集合的轨迹解决方案 $\left \{ \tau _{}^{1},\tau_{}^{2},..,\tau_{}^{N} \right \}$ ，并计算出每个解决方案 $\tau _{}^{i}$ 的全部回报 $R(\tau ^{i})$ 。为了最大化期待收益J ，使用近似的梯度下降法。

其中，

POMO的训练过程如下：

3.推理的多贪婪轨迹

组合优化问题的神经网络模型一般有2种预演模式：在“贪婪模式”中，使用策略上的argmax绘制单个确定性轨迹；在“采样模式”中，根据概率策略从网络中采样多个轨迹。

使用多开始节点的POMO方法，可以产生多条贪婪轨迹。从N个不同的节点 $\left \{ a_{1}^{1},a_{1}^{2},..,a_{1}^{N} \right \}$ 开始，可以获得N个不同的贪婪轨迹，从中可以选择类似于“采样模式”方法。N 个贪婪轨迹在大多数情况下优于N个采样轨迹。

实例增强
POMO的多贪婪推理方法的1个缺点是：起始节点的数量N不能无限大。然而，在某些类型的CO问题中，可以通过引入实例增强来绕过这个限制。例如，可以翻转或旋转二维路径优化问题中所有节点的坐标，并生成另1个实例，从中可以获得更多贪婪的轨迹。
实例增强的灵感来自自监督学习技术，该技术训练神经网络学习旋转图像之间的等价性。对于CV任务，有概念上类似的测试时间增强技术，如““multi-crop evaluation””，可以增强神经网络在推理阶段的性能。实例增强技术在CO任务上的适用性和多目标性取决于问题的具体情况，也取决于所使用的策略网络模型。

POMO的推理过程如下：

三.实验

注意力模型
注意力模型（Attention Model，AM）由编码器和解码器2个主要部分组成。大多数复杂的计算发生在多层编码器里，通过编码器，每个节点的信息及其与其他节点的关系被嵌入为一个向量。解码器使用这些向量作为点积注意力机制的key，然后自回归地生成一个解序列。
具体地，需要为CO问题的1个实例绘制N个轨迹。AM的解码器需要处理N 倍于POMO的计算。通过将N个query叠加到1个矩阵中，并将其传递给注意力机制，可以有效地并行生成N个轨迹。

训练
对于所有的实验，策略梯度是64个实例的均值（batch size）。Adam学习率 $\eta =10^{-4}$ ，权重延迟（L2 正则化） $\omega =10^{-6}$ 。1个epoch 随机生成100,000个训练实例。训练时间因问题的大小而异，从几个小时到一周不等。以TSP100为例，在单个Titan RTX GPU上，训练1个epoch大约需要7分钟。2000个epoch(~ 1周)完全收敛，大多数在200个epoch(~ 1天)完成。