本文探讨了无约束优化中的关键概念，包括目标函数的复杂性、局部与全局极小点的区别，以及如何利用泰勒中值定理进行高维函数的分析。通过一阶和二阶条件，阐述了稳定点、鞍点与极值点的关系，并结合凸函数特性，揭示了局部极小点成为全局极小点的条件。最后，概述了无约束优化的基本步骤。
1、目标函数很复杂，甚至可能需要采样，而且来之不易。因此需要用少的步数算出最值
2、gloal、local（weak平/strict严格/isolated孤立[他的邻域内只有这样一个极小点，没有震荡]）
3、我们找 的是在邻域内的最小
4、泰勒中值定理
考虑高维
f多维到一维的映射函数，连续可微分，x是高维。且在二次连续可微下：
首先是转置，直观理解这里是因为是多维到一维的原因。
然后是tp，这里可以看作是泰勒中值定理中余项。
5、判断条件
一阶必要条件：梯度等于0；
必要条件：
反证法
假设最优点梯度不等于0
说是不等于0，那可以构造一个负梯度方向，然后和梯度的内积小于0，因此在这个点的邻域内的内积也是小于0的。因此带入这个邻域内一个点就会发现矛盾。
二阶时充分条件：由一阶的证明，可知梯度等于0；同时Hessian矩阵半正定时是局部极小点。
反正法：
Hessian矩阵不是半正定
同一阶的证明思路
注意，连续函数极值点都是稳定点（也叫鞍点，但是反过来不行）
充分条件
最低0.47元/天 解锁文章
扫一扫
到【灌水乐园】发言
