2、RP-DQN：Q学习在车辆路径问题中的应用

RP-DQN：Q学习在车辆路径问题中的应用

在物流运输、资源分配等众多领域，车辆路径问题（VRP）一直是研究的热点。解决这类问题的高效算法不仅能提高资源利用率，还能降低成本。本文将介绍一种新的解决方法——Routing Problem Deep Q-Network（RP-DQN），并将其与其他方法进行对比。

1. 相关工作

在过去70年里，运筹学领域对各类路由问题进行了广泛研究，考虑了不同的约束条件、目标函数和随机特性等。机器学习在解决路由问题上主要采用了两种方法：
- 自回归插入法 ：从部分路径开始，每次插入一个节点，直到形成完整路径。如Vinyals等人提出的Pointer-Network用于解决旅行商问题（TSP），之后Bello、Nazari等人采用强化学习（RL）的REINFORCE算法扩展到容量受限车辆路径问题（CVRP）。Kool等人提出基于Transformer架构的编码器 - 解码器模型，能为多种相关问题找到较好的解决方案。Falkner和Schmidt - Thieme提出了包含时间窗的扩展方法。Khalil等人则构建了基于S2V的图模型，使用Q学习进行优化。这些自回归方法在推理时会采用不同的搜索算法，如采样、波束搜索和主动搜索。
- 改进启发式方法 ：对初始解决方案进行反复改进，通常采用局部搜索。传统上会结合大邻域搜索（LNS）、引导局部搜索（GLS）等元启发式算法和2 - opt等局部搜索算子，以避免陷入局部最优。机器学习方法从仅学习初始解决方案后应用传统方法，到学习执行局部搜索都有涉及。

此外，还有一些其他方法，如使用图卷积神经网络预测有前景的边的热图来非自回