最优化理论简述

本文简述了最优化理论,涵盖了非线性优化、动态优化、随机优化等多个领域。重点讲解了最优化中的概念,如凸集和凸函数,以及优化的必要和充分条件。介绍了单维度搜索技术、无约束优化方法,如最速下降法、牛顿法和拟牛顿法,并探讨了共轭方向法的二次收敛性。此外,还涉及了拉格朗日乘子法和Kuhn-Tucker条件在处理约束优化问题中的应用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

0 概述

优化问题的类型:
NLP:非线性优化
Dynamic Optimization(Optimal Control):与时间有关
Stochastic optimization 随机优化
multi—objective optimization 多目标优化
game-theory 博弈论

==============================================

1 最优化中的概念

凸集(convex sets):两个元素任意线性组合,仍在两个元素所在集合。
凸函数:定义域为凸集,两个点的线性组合的函数值小于两个点函数值的线性组合。
凸规划:凸函数在凸集上的优化。
梯度、二阶梯度:
在这里插入图片描述
单位向量:欧式长度为1.
方向导数:就是梯度与方向的内积
在这里插入图片描述
凸函数性质
在这里插入图片描述
局部最小和全局最小:
1、目前算法只可以保证局部最小。想全局只有全部穷举。
2、凸函数局部最小即为全局最小。
3、随机优化算法可以以概率1找到全局最优解,但需要耗费时间。

鞍点(定义域为2维): 沿x最大,沿y最小。
在这里插入图片描述

===================================================

2 conditions for optimization

necessary condition for 普通函数局部最小
1、一阶梯度为0
2、二阶梯度大于0,半正定。
sufficient condition for 普通函数局部最小
1、一阶梯度为0,且二阶正定(严格大于0)。
奇异点
满足必要条件,但是不满足充分条件,仍为局部最小的点。

sufficient condition for 凸函数最小
1、一阶梯度等于0。

existence of optimal solutions
1、如果f(x)连续,且x是一个compact(closed and bounded),则最优解存在。

==============================================

3 one-dimension search technique

对于单峰函数
Dichotomous(二分法):二分法缩小搜索区间,迭代终止条件是区间长度小于给定值。
equal-interval search:等分区间进行缩小。
fibonacci search: 区间缩小的比例跟fibonacci数列有关系,本质也是缩小区间。不同之处在于先计算迭代次数,然后才迭代。
golden-section:新区间与老区间长度为0.618.
fibonacci与golden搜索计算效率较高,新点的计算数量少,fibonacci效率最高。

二次插值法:在极小值点附近,用二次三项式去逼近目标函数,然后求解最优值。(此方法精度低,速度快)

newton’s method:用于求方程的根,那么我们求最小值,即需要求的是导数的根。
xn+1=xn−H−1(xn)∇f(xn) x_{n+1}=x_{n}-H^{-1}(x_{n}) \nabla f(x_{n})xn+1=xnH1(xn)f

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值