综述笔记《Machine Learning for Combinatorial Optimization: a Methodological Tour d'Horizon》

最新推荐文章于 2023-10-18 20:42:55 发布
原创 最新推荐文章于 2023-10-18 20:42:55 发布 · 2.8k 阅读 · 25 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

这里写目录标题

0. 补充概念

（1）旅行商问题(travelling salesman problem, TSP)

  • 典型旅行商问题 举例：有个快递员分别要给3家顾客送快递，他自己到达每个顾客家的路程各不相同，每个顾客之间的路程也各不相同。那么，如果想要将快递依次送达，并最终返回起点，哪一条路线所走的总距离最短？
  • 思路1-枚举法，但该方法时间复杂度为 O ( n ! ) O(n!) O(n!) ，花费的运算时间太高。
  • 思路2-相对优化的解决方法，如动态规划法、分支定界法，但时间复杂度仍然是指数级的。

（2）P 问题、NP 问题、NPC 问题

【1】漫画：什么是旅行商问题？
【2】NP问题真的很难理解
【3】P问题、NP问题、NPC问题、NP hard问题

补充概念——归约

  • 定义：可以简单理解成问题之间的转化，例如问题 Q : 3 x + 6 = 12 Q: 3x+6=12 Q:3x+6=12，可以转化为一元二次问题 Q ′ : 0 x 2 + 3 x + 6 = 12 Q': 0x^2+3x+6 = 12 Q
最低0.47元/天 解锁文章

200万优质内容无限畅学
组合优化开题报告分享：基于强化学习的旅行商问题研究
吊车尾小队
10-12 934
课题来源：微软亚洲研究院联合研究基金和某公司横向项目 优化问题涉及在不同的可能性中找到最佳配置或“值”，它们属于具有连续变量和离散变量配置中的一个。例如，找到凸规划问题的解是一个连续优化问题，而找到图中所有路径中的最短路径是一个离散优化问题。有时两者之间的界限不可能那么容易画出来。传统上离散空间被称为组合优化（CO）问题，通常有不同类型的解与连续空间中的那些相比。可以将CO问题公式化如下：设V是一组元素，f:V->R是一个成本函数。组合优化问题目的是找到函数f的最优值和实现该最优值的任何相应的最优元素域V上
交通 | COR‘23：机器学习求解枢纽选址问题
最新发布
weixin_53463894的博客
11-28 1038
论文中，作者提出了一个用于求解枢纽选址问题的两阶段算法框架，并在此框架基础上，针对一类经典的枢纽选址问题（USApHMP）设计了两个基于深度学习改进的启发式算法。具体来说，提出了一个基于图网络的枢纽节点排序模型DLHr。根据模型输出的节点分数，可对节点进行排序，从而生成一个潜在的枢纽集合。将节点排序结果/潜在枢纽集合嵌入到启发式算法中，以提升算法的求解质量和运算效率。此外，未来研究中，可考虑在该算法框架基础上，设计求解其他类型枢纽选址问题的方法。
【ML4CO论文精读】用于组合优化的机器学习：方法论之旅(Yoshua Bengio, 2021)
长亮-一个奋斗ing的CSer
03-06 3616
本文调查了最近从机器学习和运筹学的社区,在利用机器学习来解决组合优化问题的尝试。考虑到这些问题的本质,最先进的算法依赖手工制作的启发式决策,否则计算或数学不定义良好的成本太高。因此,机器学习看起来像一个自然的候选人做出这样的决策原则和优化方法。我们倡导推动进一步一体化的机器学习和组合优化和细节的方法。论文的主要观点是认为通用的优化问题是数据和查询是什么问题用于学习的相关分布在一个给定的任务。......
奔跑吧，旅行商 - 当机器学习遇上组合优化
热门推荐
世事难料，保持低调
12-06 1万+
背景 如今机器学习在视觉、自然语言处理、语音、推荐等领域的应用已非常广泛，相关的讨论也非常多。与这些热门领域相比，关于机器学习在组合优化中的应用相对还没那么泛滥。今天我们就来聊一下这个有意思的话题。值得一提的是，近几年热度升温的GNN和RL（《GNN、RL强势崛起，CNN初现疲态？这是ICLR 2021最全论文主题分析》）都是这个方向里的常规方法。在实际工程中，有一类优化问题需要我们从集合的所有组合中找出一个最优方案。这类离散空间中的优化问题就称为组合优化问题（Combinatorial Optimizat
《DEEP LEARNING AS A MIXED CONVEX COMBINATORIAL OPTIMIZATION PROBLEM》解读
颹蕭蕭
11-13 2263
来看看这篇号称要替代BP算法的文章到底在讲啥吧！！！！ 论文地址摘要 随着神经网络向着更深更广的方向发展，学习硬阈值的神经网络变得越来越重要。一方面为了神经网络的量化（quantization），可以大幅度的减少时间和能量消耗；另一方面为了构建大型的深度神经网络的集成系统，里面存在着不可导的组件，因而为了有效的学习，必须避免梯度在传递过程中消减至零或者发散至无穷。然而，梯度下降法并不适用于硬阈值
NEURAL COMBINATORIAL OPTIMIZATION WITH REINFORCEMENT LEARNING 2020-05-07
zjy2015302395的博客
05-17 2275
NEURAL COMBINATORIAL OPTIMIZATION WITH REINFORCEMENT LEARNING Abstract(借用pointer network用 policy gradient 优化,) given a set of city coordinates, predicts a distribution over different city permutations. RL(reward 总路径长度相反数) + RNN (policy gradient) 很好的解决100no
【论文笔记】NEURAL COMBINATORIAL OPTIMIZATION WITH REINFORCEMENT LEARNING
weixin_44363614的博客
05-19 3219
目录论文概论模型参数公式网络Critic网络 论文 强化学习+指针网络+组合优化 概论 主要是用强化学习中的策略梯度方法，来计算为TSP建立的指针网络模型的参数。同时发现策略梯度+主动学习的效果更好 模型 参数 s：是输入的序列坐标集 θ\thetaθ：网络的参数 π\piπ：一种策略（参数）的输出结果 公式 定义结果好坏 π\piπ结果出现的可能性【链式展开】 定义在sss的空间中，参数为θ\thetaθ的L的期望值 sss是SSS空间中的一个分布（子集），所以定义总的LLL为——期望
技术的真相 | 机器学习在仓库控制中的探索：以某场景的排序问题为例
旷视开发者技术社区
06-10 594
作为新一代托盘柔性物流解决方案，旷视智能托盘四向车系统具有高密度存储、场地适应性强、扩展灵活、交付周期短等优势，能为实体企业提供具备更优投资回报比（ROI）的自动化、智能化仓储解决方案。那么，在智能托盘仓库又是如何被设计出来的呢？这背后运用了怎样的分配策略？本期《技术的真相》，让我们一起走进智能托盘仓库场景中的装车排序设计。01仓库中的决策问题基于物品在仓库中的流动可以被...
ICCV2017论文摘要汇总
super_chicken的博客
04-18 7032
1. Globally-Optimal Inlier Set Maximisation for Simultaneous Camera Pose and Feature Correspondence Abstract: Estimating the 6-DoF pose of a camera from a single image relative to a pre-computed 3D p...
Neural combinatorial optimization with reinforcement learning 翻译
weixin_43889128的博客
04-26 1046
摘要 本文提出了一个使用神经网络和强化学习来解决组合优化问题的框架。 我们专注于旅行商问题（TSP），并训练一个递归神经网络，该神经网络在给定一组城市坐标的情况下，预测了不同城市排列的分布。 使用负游程长度作为奖励信号，我们使用策略梯度方法优化了递归神经网络的参数。 我们将在一组训练图上学习网络参数与在单个测试图上学习网络参数进行比较。 尽管计算量大，但无需进行大量工程设计和启发式设计，神经组合优化在具有多达100个节点的2D欧几里得图上仍能达到接近最佳的结果。 将同样的方法应用于另一个NP难题KnapSa
Science 杂志综述长文——Machine learning机器学习发展趋势和前景
01-12
Jordan和Mitchell两位Machine learning大牛在Science 杂志综述长文——机器学习发展趋势和前景
读懂机器学习(转)
weixin_34128411的博客
01-13 5813
在本篇文章中，我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习，并且上手相关的实践。这篇文档也算是EasyPR开发的番外篇，从这里开始，必须对机器学习了解才能进一步介绍EasyPR的内核。当然，本文也面对一般读者，不会对阅读有相关的前提要求。 在进入正题前，我想读者心中可能会有一个疑惑：机器学习有什么重要性，以至于要阅读完这篇非常长的文章呢？ 我并不直接...
变种 背包问题_深度强化学习-求解组合优化问题
weixin_39613712的博客
12-01 2094
1 Pointer NetworkspapergithubVinyals的这篇论文提出了PointerNetwork（PN），求解了一些经典的组合优化问题，比如旅行商问题（TSP）和背包问题（Knapsack problem）。他们使用注意力机制计算Softmax概率值，将其当做指针（Pointer）指向输入序列中的元素，对输入序列进行组合，最后使用有监督方法对模型进行训练。这篇论文是后面几篇论文...
Learning Combinatorial Optimization Algorithms over Graphs（强化学习+图神经网络）
weixin_55575757的博客
10-18 389
基于图神经网络和强化学习的文章
[Machine Learning & Algorithm] 决策树与迭代决策树（GBDT）
weixin_34311757的博客
08-16 148
　　谈完数据结构中的树（详情见参照之前博文《数据结构中各种树》），我们来谈一谈机器学习算法中的各种树形算法，包括ID3、C4.5、CART以及基于集成思想的树模型Random Forest和GBDT。本文对各类树形算法的基本思想进行了简单的介绍，重点谈一谈被称为是算法中的“战斗机”，机器学习中的“屠龙刀”的GBDT算法。 1. 决策树的模型 　　决策树是一种基本的分类与回归方法，它可以被认...
《Learning Combinatorial Optimization Algorithms over Graphs》阅读笔记
LW的技术小筑
08-15 611
本文提出将强化学习和图嵌入的组合以端到端地自动为图上组合优化问题设计贪心启发式算法，以避免设计传统算法所需要的大量专业知识和试错。学得的贪心策略行为类似增量构造解决方案的元算法，动作由解决方案当前状态上的图嵌入网络确定。
PyTorch图神经网络实践（六）组合优化问题
Javy Wang
12-24 7867
最近研究网络中的组合优化问题时，发现已经有研究人员将图神经网络用于求解此类问题，诸如寻找网络中的最大点独立集、最小点覆盖集、最大团等等，并找到了相关的源码，先马在这里，以后再抽时间介绍一下。 NeurIPS 2019：用图卷积神经网络求解组合优化问题 Exact Combinatorial Optimization with Graph Convolutional Neural Networks...
基于强化学习求解组合优化问题TSP
weixin_42717395的博客
04-14 1万+
A Note on Learning Algorithms for Quadratic Assignment with Graph Neural Networks： 使用图神经网络解TSP Optimization on a Budget A Reinforcement Learning Approach： 介绍强化学习方法在预算优化中的应用 Pointer Network: 首次提出了...
ATTENTION, LEARN TO SOLVE ROUTING PROBLEMS! 使用强化学习解决tsp问题（二）强化学习背景知识
jsjytc的博客
12-18 2355
本文主要结合两篇文献，第一篇是2017年Google brain团队Irwan Bello∗, Hieu Pham∗, Quoc V. Le, Mohammad Norouzi, Samy Bengio在ICLR上发表的NEURAL COMBINATORIAL OPTIMIZATION WITH REINFORCEMENT LEARNING一文。第二篇是Hanjun Dai∗, Elias B. ...
combinatorial optimization: polyhedra and efficiency
10-19
组合优化是一个研究如何在给定的资源限制下选择最优组合或排列的问题。它在许多实际应用中都具有重要意义，例如生产调度、旅行路径规划和物流优化等。而多面体理论和效率分析是组合优化的两个关键方面。 多面体理论是研究组合优化问题解空间的一种数学方法。通过建立问题的约束条件和目标函数之间的关系，可以将问题转化为一个多维空间中的凸多面体。该多面体的顶点对应于可能的解，而边和面则表示了解空间中的可行解。通过研究多面体的几何性质，可以有效地寻找最优解或确定问题的复杂性。 而效率分析则关注的是在给定的计算资源限制下解决组合优化问题的方法和算法。由于组合优化问题通常是NP难问题，即使在小规模问题上也需要耗费大量的计算时间。因此，研究如何提高算法的效率对于解决实际问题至关重要。效率分析可以帮助确定一个算法的运行时间和空间复杂性，并找到解决问题的最佳方法。 在实际应用中，多面体理论和效率分析相辅相成。多面体理论提供了对问题解空间的几何理解，可以指导算法设计和改进。而效率分析则可以评估算法的性能，并在实践中找到合适的算法。通过结合这两个方面，我们可以更好地理解和解决实际的组合优化问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值