【论文笔记】NEURAL COMBINATORIAL OPTIMIZATION WITH REINFORCEMENT LEARNING

最新推荐文章于 2025-04-11 20:00:00 发布
最新推荐文章于 2025-04-11 20:00:00 发布
阅读量3.1k 收藏 14
点赞数 2
分类专栏： ML&CO 文章标签： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44363614/article/details/106208618
版权
该论文探讨了使用强化学习（RL）策略梯度方法结合指针网络解决组合优化问题，如旅行商问题（TSP）和背包问题。通过actor-critic算法，论文展示了RL在训练和优化过程中的优势，对比了抽样搜索和主动搜索策略。实验结果显示，RL预训练能显著提升性能，接近最优解，并在背包问题上优于传统启发式方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

论文

强化学习+指针网络+组合优化

一、概论

主要是用强化学习中的策略梯度方法，来计算为TSP建立的指针网络模型的参数。同时发现策略梯度+主动学习的效果更好

二、模型

参数

s：是输入的序列坐标集
θ \theta θ：网络的参数
π \pi π：一种策略（参数）的输出结果

公式

  1. 定义结果好坏
    定义策略好坏

  2. π \pi π结果出现的可能性【链式展开】在这里插入图片描述

  3. 定义在 s s s的空间中，参数为 θ \theta θ的L的期望值
    在这里插入图片描述

最低0.47元/天 解锁文章
Neural combinatorial optimization with reinforcement learning 翻译
weixin_43889128的博客
04-26 1020
摘要 本文提出了一个使用神经网络和强化学习来解决组合优化问题的框架。 我们专注于旅行商问题（TSP），并训练一个递归神经网络，该神经网络在给定一组城市坐标的情况下，预测了不同城市排列的分布。 使用负游程长度作为奖励信号，我们使用策略梯度方法优化了递归神经网络的参数。 我们将在一组训练图上学习网络参数与在单个测试图上学习网络参数进行比较。 尽管计算量大，但无需进行大量工程设计和启发式设计，神经组合优化在具有多达100个节点的2D欧几里得图上仍能达到接近最佳的结果。 将同样的方法应用于另一个NP难题KnapSa
综述笔记《Machine Learning for Combinatorial Optimization: a Methodological Tour d'Horizon》
mintminty的博客
04-26 2872
这里写目录标题0. 补充概念1. Introduction1.1 Motivation 0. 补充概念 （1）旅行商问题(travelling salesman problem, TSP) 典型旅行商问题 举例：有个快递员分别要给3家顾客送快递，他自己到达每个顾客家的路程各不相同，每个顾客之间的路程也各不相同。那么，如果想要将快递依次送达，并最终返回起点，哪一条路线所走的总距离最短？ 思路1-枚...
NEURAL COMBINATORIAL OPTIMIZATION WITH REINFORCEMENT LEARNING 2020-05-07
zjy2015302395的博客
05-17 2265
NEURAL COMBINATORIAL OPTIMIZATION WITH REINFORCEMENT LEARNING Abstract(借用pointer network用 policy gradient 优化,) given a set of city coordinates, predicts a distribution over different city permutations. RL(reward 总路径长度相反数) + RNN (policy gradient) 很好的解决100no
又一篇CCF-A！强化学习+多目标优化，吊打传统方法！
最新发布
m0_73122726的博客
04-11 546
文章提出一种基于单偏好条件模型的多目标组合优化学习方法，设计相应强化学习算法，在多个问题上实验，验证其相比其他方法在解质量、速度和模型效率上的优势。更值得关注的是，阿里云最新发布的多目标大模型对齐技术，在金融交易RL系统中平衡收益与风险，夏普比率较单目标模型。首次提出CMORL问题，考虑学习过程中目标的动态变化，拓展了多目标强化学习的研究范畴。定义CMORL问题，将其建模为多目标马尔可夫决策过程序列，明确任务目标和学习要求。方法可视为基于分解的多目标进化算法的学习扩展，用单模型处理所有偏好，提升效率。
NEURAL COMBINATORIAL OPTIMIZATION WITH REINFORCEMENT LEARNING 翻译
zhengyu9612的博客
12-16 1360
Irwan Bello∗, Hieu Pham∗, Quoc V. Le, Mohammad Norouzi, Samy Bengio Google Brain {ibello,hyhieu,qvl,mnorouzi,bengio}@google.com 使用强化学习进行神经组合优化 摘要 This paper presents a framework to tackle combinato...
neural-combinatorial-rl-pytorch:具有增强学习功能的神经组合优化的PyTorch实施https
05-16
神经组合rl火炬 PyTorch实现。 我已经用本文中的贪婪解码实现了基本的RL预训练模型。 有监督学习基线模型的实现。 我没有使用评论者网络，而是通过使用指数移动平均评论者在TSP上获得了我的结果。 评论者网络现在在我的代码中只是被注释掉了。 通过与其他几个人的通信，可以确定指数移动平均线评论员显着帮助改善了结果。 我的实现在指针网络中使用了一种随机的解码策略，该策略是在训练期间通过PyTorch的torch.multinomial()实现的，并且在测试模型时对波束进行搜索（尚未完成，仅支持1波束aka贪婪）进行解码。 当前，支持分类任务和平面对称欧几里得TSP。 有关如何运行代码的示例，请参见main.sh 使用--load_path $LOAD_PATH和--is_train False标志可以加载保存的模型。 要加载保存的模型并查看指针网络的关注层，请使用--plot_
探索Neural Combinatorial RL PyTorch：新一代强化学习框架
gitblog_00076的博客
04-17 385
探索Neural Combinatorial RL PyTorch：新一代强化学习框架 neural-combinatorial-rl-pytorchPyTorch implementation of Neural Combinatorial Optimization with Reinforcement Learning https://arxiv.org/abs/1611.09940项目地址...
论文阅读——Combinatorial Optimization by Graph Pointer Networks and Hierarchical Reinforcement Learning
CMTSA的博客
10-19 1091
Abstract 用 Reinforcement Learning 训练 Graph Pointer Networks来解决 Traveling Salesman Problem 问题。
主编推荐｜深度学习和强化学习在组合优化方面有哪些应用？
运筹OR帷幄
01-02 802
作者：莫思雨&王晶&王源 2017年阿里巴巴的一篇用深度强化学习求解3维装箱问题的论文引发了深度学习和强化学习在组合优化问题方面应用的深入探讨。一部分先驱的研究者尝试用深度学习和强化学习的角度去看待组合优化问题的求解，相关的前沿探索性研究也逐步展开。单纯的采用基于Search的传统数学优化方法是否有着局限性，基于深度学习和强化学习的Learning to Search方法是否能有着较好的应用前景？本文就带你简单了解一下深度学习和强化学习在组合优化方面的研究进展。 一. 深...
Neural Optimizer Search with Reinforcement Learning
qq_32256033的博客
03-16 694
谷歌大脑近期放出了一篇论文「Neural Optimizer Search with Reinforcement Learning」（强化学习的神经网络优化器搜索），用强化学习的方法为神经网络（尤其是深度学习）找到最佳的优化算法/权重更新规则。论文并没有重新制造轮子，但也取得了不错的效果，而且也引起了一定的关注。 要成功训练一个深度学习模型，选择一个适当的优化方法是非常重要的。虽然随机梯度下降法（...
【论文笔记】用机器学习解决组合优化问题的论文综述
人间不值得
07-25 6059
现在用机器学习（特别是深度学习和深度增强学习）研究的组合优化问题：旅行商问题（TSP），3D装箱问题，车辆路径问题（VRP）等。 基础知识： seq2seq： 1、sequence to sequence learning with neural network. seq2seq框架的提出 attention： ...
Combinatorial Optimization（组合优化）.pdf
07-30
有中文译本：组合优化（2011出版） 作者：William J. Cook, William H. Cunningham, William R. Pulleyblank, Alexander Schrijver 出版时间：1997
通过指针网络 对tsp进行 强化学习_python_代码_下载
06-22
为简单起见，我们没有实现 thencritic 网络，而是使用最佳路径长度作为critic 值。 train tsp 样本是通过在 [0,1]*[0,1] 网格中均匀采样 2D 点来生成的。最优解由concorde求解。要生成训练样本， concorde应在系统PATH变量中找到。 结果 tsp 10 100,000 后的测试结果。diff 是 rl 解和最优解之间的差距。 更多详情、使用方法，请下载后阅读README.md文件
精读论文：Pareto Multi Objective Optimization（附翻译）
菜菜小孙的blog
08-11 4095
Pareto Multi Objective Optimization 一、总结 1.1 Pareto多目标优化 摘自该文章 多目标优化问题的数学模型一般可以写成如下形式 f1(x),f2(x),...,fn(x)f_1(x),f_2(x),...,f_n(x)f1​(x),f2​(x),...,fn​(x)表示n个目标函数，目的都是使之达到最小 1：解A优于解B（解A强帕累托支配解B） 假设现在有两个目标函数，解A对应的目标函数值都比解B对应的目标函数值好，则称解A比解B优越，也可以叫做解A强帕累托支
2025多目标优化创新路径汇总
2401_82426425的博客
01-27 1519
是当下非常热门且有前景的方向！作为AI领域的核心技术之一，其专注于解决多个相互冲突的目标的协同优化问题，核心理念是寻找一组“不完美但均衡”的“帕累托最优解”。在实际中，几乎处处都有它的身影。但随着需求场景的变化，传统方法早已无法满足，对其进行创新改进也成了必经之路，这也为我们的论文创新提供了机会。比如有作者便通过结合进化算法和贝叶斯优化，对其进行改进，提出了一种多目标优化框架EGBO，成功中稿Nature！
## 作为多目标优化的多任务学习：寻找帕累托最优解+组合在线学习：实时反馈玩转组合优化-微软研究院+用于组合优化的强化学习：学习策略解决复杂的优化问题
古月哲亭
05-23 1万+
组合在线学习：实时反馈玩转组合优化 看似无比困难的权衡问题，如今组合在线学习就能帮你“算出”最优解，轻松破解传统组合优化问题。本文中，我们邀请到微软亚洲研究院资深研究员陈卫为大家多面解读组合在线学习的奥妙之处。 什么是组合在线学习？大家都曾有过这样的经历，在我们刷微博或是阅读新闻的时候，经常会看到一些自动推荐的内容，这些信息可以根据你对推送的点击情况以及阅读时间等来调整以后的推送选择。再比如，手...
变种 背包问题_深度强化学习-求解组合优化问题
weixin_39613712的博客
12-01 2077
1 Pointer NetworkspapergithubVinyals的这篇论文提出了PointerNetwork（PN），求解了一些经典的组合优化问题，比如旅行商问题（TSP）和背包问题（Knapsack problem）。他们使用注意力机制计算Softmax概率值，将其当做指针（Pointer）指向输入序列中的元素，对输入序列进行组合，最后使用有监督方法对模型进行训练。这篇论文是后面几篇论文...
Neural Architecture Search with Reinforcement Learning论文总结
xjz18298268521的博客
01-16 1万+
Neural Architecture Search with Reinforcement Learning论文总结 论文:《Neural Architecture Search with Reinforcement Learning》 网站链接（开源代码）：https://github.com/tensorflow/models 1. 概述   此论文出自google Brain并发表与
基于强化学习求解组合优化问题TSP
热门推荐
weixin_42717395的博客
04-14 1万+
A Note on Learning Algorithms for Quadratic Assignment with Graph Neural Networks： 使用图神经网络解TSP Optimization on a Budget A Reinforcement Learning Approach： 介绍强化学习方法在预算优化中的应用 Pointer Network: 首次提出了...
neural multi-objective combinatorial optimization with diversity enhancement
11-10
神经网络多目标组合优化是一种利用神经网络技术解决复杂组合优化问题的方法。在优化过程中，通常存在多个相互竞争的目标，如最大化利润和最小化成本等。传统的优化算法难以有效处理这些多目标问题。 神经网络多目标组合优化算法通过使用神经网络来学习和预测可能的最优解，从而实现多目标的协调优化。它可以将组合优化问题转化为一个多目标优化问题，并利用神经网络的非线性函数逼近能力，寻找最优解的近似解。 在神经网络多目标组合优化中，同时考虑到解的多样性也是非常重要的。解的多样性可以帮助发现更多的优质解，避免陷入局部最优解。为了增强多样性，可以通过引入多样性增强机制，例如粒子群优化、遗传算法等。 总之，神经网络多目标组合优化方法在解决复杂组合优化问题方面具有很大的潜力。通过使用神经网络技术和多样性增强方法，可以同时解决多个相互竞争的目标，并找到最优或近似最优的解。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值