最优化理论学习笔记_1(精确线性搜索)

最新推荐文章于 2024-10-20 03:00:00 发布
最新推荐文章于 2024-10-20 03:00:00 发布
阅读量1.3w 收藏 12
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 最优化理论 文章标签： 优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zCGr_GzGy/article/details/11809847
本文是作者学习最优化理论的笔记，主要探讨无约束优化问题中的线性搜索方法，特别是精确线性搜索。介绍了如何在已知迭代方向的情况下寻找合适的步长，并通过黄金分割算法和插值方法举例说明。文章还提及了单峰函数的概念及其在寻找极小值中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

由于机器学习领域充斥着各种各样的优化问题，早就想系统的学习优化理论了，借着这学期选择了最优化理论的课程，就认真的学习一下吧！

最优化理论通常研究如下问题，引用wiki的定义：


通俗的理解，就是求解在各种约束下函数的最值问题。


线性搜索

在利用迭代的方法解决无约束优化问题

时，其中第k步迭代的公式是：

最低0.47元/天 解锁文章

200万优质内容无限畅学
墨菲定律和最速下降法之精确线搜索——blog3
weixin_41996745的博客
03-27 1186
墨菲定律+精确线搜索一：立flag就是为了打脸——墨菲定律墨菲定律为啥这么神奇？墨菲定律在奏效还是我们的思想被转移？墨菲定律在奏效还是我们的在逃避责任？换个角度想想墨菲定律二：啥是一维精确性搜索？三：python代码实现四：实现结果 一：立flag就是为了打脸——墨菲定律 上周还没开始之前自己就立下flag：更新两篇博客。但是由于临近开学聚会难免多了一点，就哐哐打脸。现在特流行一句话：人类的本质是真香，也就是打脸定律。你仔细瞅瞅有没有觉得类似于神奇的墨菲定律呢？ 墨菲定律为啥这么神奇？ 墨菲定律的起源也不
最优化理论学习笔记_2(非精确线性搜索)
zCGr_GzGy的专栏
09-26 6219
当优化函数的维度n非常大或者f（x）非常复杂的时候，精确线性搜索的计算量是非常大的，并且在离最优解尚远的时候，并没有做精确线性搜索的必要。这使得我们不得不考虑非精确线性搜索。 非精确线性搜索： 如果我们不适用精确线性搜索的话，我们要如何选择步长呢?取步长alpha使得下式成立是否可以呢？ f（x_k+alpha_k*d_k） 有例子告诉我们，这个准则未必行得通。 优化问题 min
精确线搜索——抛物线法
czw
09-01 9487
抛物线法1 抛物线法 抛物线法也叫二次插值法，二次插值法的基本思想是: 在搜索区间中不断地使用二次多项式去近似目标函数, 并逐步用插值多项式的极小点去逼近线搜索问题 mins>0 ϕ(s)=f(xk+sdk) \underset{s>0}{min}\ \phi(s)=f(x_k+sd_k) 的极小点. 下面我们详细介绍这一方法. 设已知三点 s0, s1=s0+h, s2=s
线搜索技术
luzhanbo207的博客
11-26 3816
线搜索技术 求解一维函数的极值点的数值迭代法称为一维搜索方法，又称为线搜索技术。实际工程优化问题的目标函数是一元函数的并不多，但是，在求解多元函数最优解的过程中，常常伴随着一系列的线搜索技术。线搜索方法对整个算法的收敛速度、精度都有较大的影响。可以说线搜索技术是优化方法的重要支柱。 在前面的优化技术理论基础中介绍了下降迭代算法的基本迭代公式 xk+1=xk+αkdk,(k=0,1,2,⋯ ) x_{k+1}=x_k+\alpha_k d_k, (k=0,1,2,\cdots) xk+1​=xk​+αk​dk
线性搜索
Frade's Blog
12-09 551
Linear Search You are given a sequence of n integers S and a sequence of different q integers T. Write a program which outputs C, the number of integers in T which are also in the set S. Inp
最优化方法---无约束问题：精确线性搜索方法
S1406793的博客
10-12 1752
最优化方法 进退法 黄金分割法 一维牛顿法 二分法
notes-machine-learning-master_机器学习笔记_机器学习_
10-03
【机器学习笔记_机器学习】概述 机器学习是人工智能的一个重要分支，它研究计算机如何从经验中学习，以便在没有明确编程的情况下改进其性能。这个领域由统计学、计算机科学和神经科学等多个学科交叉而成，旨在使...
MachineLearning_机器学习笔记_
09-30
《机器学习笔记——深入探索与理解》 在当今数字化时代，机器学习作为人工智能的一个关键分支，已经在各个领域展现出强大的潜力和应用价值。本笔记旨在帮助读者深入理解和掌握机器学习的基本概念、理论框架以及实践...
机器学习笔记之优化算法(四)线搜索方法(步长角度；非精确搜索)
静静的学习就好
07-30 1844
上一节介绍了从精确搜索的步长角度观察了线搜索方法，本节将从非精确搜索的步长角度重新观察线搜索方法。
精确线搜索_精确线搜索_最速下降法_
10-02
用最速下降法，精确线搜索求解问题的极小点，
精确线搜索及其 Matlab 实现
09-24
0.618法（黄金分割法）
【最优化方法】线搜索技术
最新发布
m0_74183164的博客
10-20 1918
线搜索分为精确线搜索和非精确线搜索。精确线搜索是指求步长,使得目标函数沿方向达到极小。非精确线搜索是指求步长,使得目标函数得到可接受的下降量。
精确线性搜索与回溯搜索_线性搜寻
cunchi8090的博客
07-21 1469
精确线性搜索与回溯搜索 Suppose you use Uber application as a rider and you request a ride to go from one place to another. Your driver just arrived at the parking lot of your place. The only ...
精确搜索
栓独爱青春的博客
11-21 522
在搜索的时候带上    语法结构如下：site:www.laizpy.com 呼和浩特   内容 site:网站
精确线搜索-黄金分割法
weixin_30375247的博客
08-28 1010
黄金分割法1 黄金分割法 黄金分割法也称为0.618 法, 其基本思想是通过试探点函数值得比较,是包含极小点的搜索区间不断缩小. 该方法仅需要计算函数值, 适用范围广, 使用方便. 下面我们来推导0.618 法的计算公式. 设ϕ(s)=f(xk+sdk) 其中ϕ(s)是搜索区间[a0,b0]上的单峰函数. 在第i 次迭代时搜索区间为[ai,bi]. 取...
机器学习笔记之优化算法(三)线搜索方法(步长角度；精确搜索)
静静的学习就好
07-28 1767
上一节介绍了从方向角度认识线搜索方法，本节继续介绍：从步长角度认识线搜索方法。
【优化笔记10】精确线搜索步长+下降方向
☆下山☆的博客
11-15 5086
精确线搜索步长+下降方向
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值