ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS! 使用强化学习解决tsp问题（二）强化学习背景知识

最新推荐文章于 2025-10-10 22:38:17 发布

原创最新推荐文章于 2025-10-10 22:38:17 发布 · 2.4k 阅读

CC 4.0 BY-SA版权

本文探讨了如何利用强化学习解决旅行商问题(TSP)。引用了Google Brain团队和Hanjun Dai等人的研究，介绍了神经组合优化的框架和在TSP中的应用。文章指出，传统启发式方法对问题变化敏感，而强化学习能自适应地学习优化策略。指出了使用pointer network架构和actor-critic方法，并提及了Q-learning在图问题中的应用。

本文主要结合两篇文献，第一篇是2017年Google brain团队Irwan Bello∗, Hieu Pham∗, Quoc V. Le, Mohammad Norouzi, Samy Bengio在ICLR上发表的NEURAL COMBINATORIAL OPTIMIZATION WITH REINFORCEMENT LEARNING一文。第二篇是Hanjun Dai∗, Elias B. Khalil∗, Yuyu Zhang†, Bistra Dilkina, Le Song在2018年发表的Learning Combinatorial Optimization Algorithms over Graphs一文。

NEURAL COMBINATORIAL OPTIMIZATION WITH REINFORCEMENT LEARNING
这篇文章开篇提到了TSP的一个难题，即在实际应用中，TSP solvers大多使用人为的启发式去知道搜索过程，尽管这些启发式可以在TSP问题上表现的很好，但是一旦problem statement有轻微改变，之前定义的启发式就不好使了。这篇文章运用了机器学习的算法去开发了一个通用框架（neural combinatorial optimization），通过在训练集上自适应寻找启发式去解决多个优化问题，在TSP问题上最多100个点。
因为传统的监督学习不适用于组合优化的问题，团队采用了强化学习的算法，可以把强化学习中基于特定action对应的reward当作监督学习中的标签。
使用pointer network的架构
深度学习中的actor critic
Learning Combinatorial Optimization Algorithms over Graphs
介绍Q-learning
要解决的问题：In this paper, we address the challenge of learning algorithms for graph problems using a unique combination of reinforcement learning and graph embedding.
完成的：We presented an end-to-end machine learning framework for automatically designing greedy heuris- tics for hard combinatorial optimization problems on graphs.

时间问题，这两篇论文没有进行详细的精读，以后有时间会补充。

未完待续。。。下一篇博文会详细分析ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS! 这篇文章。