最优化方法
关注
分享
扫一扫
LittleEmperor
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
最优化八：高斯牛顿法、LM法
1 高斯牛顿法（Gauss-Newton）针对优化问题求解x使得f(x)取得最小值，采用高斯牛顿法，步骤如下：step1：给定初始点step2：对于第i此迭代，求解雅克比矩阵及函数值step3：求解增量方程，得到step4：计算step5：如果足够小，或者迭代次数达到阈值，停止，否则重复step2-5证明过程如下：对函数f(x)在处进行一阶泰勒展开得到： ...原创 2020-03-27 12:23:00 · 6948 阅读 · 0 评论 -
最优化七：一维搜索法
0 一维搜索法最优化的目的是优化目标：，优化思路是迭代计算： （1）计算优化方向（2）计算优化步长优化方向一般是负梯度方向或者设计二阶偏导数。但是某些情况下导数很难计算。这时需要自己设计一个优化方向。当优化方向已知时，如何得到优化步长即为一维...原创 2020-03-27 10:46:32 · 2606 阅读 · 0 评论 -
最优化六：牛顿法（牛顿法、拟牛顿法、阻尼牛顿法）
牛顿法将目标函数近似为二阶函数，沿着牛顿方向进行优化（包含了Hession矩阵与负梯度信息）。阻尼牛顿法在更新参数之前进行了一维搜索确定步长，确保沿着下降的方向优化。拟牛顿法用常数矩阵近似替代Hession矩阵或Hession矩阵的逆矩阵，不用求偏导与求逆，简化运损。1 牛顿法1.1 算法流程梯度下降法利用了负梯度方向进行迭代，算法如下：...原创 2020-03-26 14:17:36 · 14889 阅读 · 0 评论 -
最优化五：梯度法（梯度下降法、最优梯度法、共轭梯度法）
1 梯度下降法函数在某一点的梯度是，在该方向单位步长上升最快的向量。梯度下降法是利用待优化变量，沿着负梯度方向不断迭代寻找最优值。直观理解： 梯度下降法算法流程： （PPT画个图可真难）梯度下降法证明：通过泰勒展开表达式证明沿...原创 2020-03-25 11:40:18 · 22606 阅读 · 3 评论 -
最优化方法四：线性规划与非线性规划
1 线性规划与非线性规划的区别线性规划问题：目标函数与约束条件均为优化变量的线性函数，不涉及变量的耦合与高次。注意线性规划的约束条件也可以是不等式约束。表达式如下： 非线性规划问题：目标函数或约束函数是优化变量的非线性函数。根据目标函数和约束函数的不同可以分为：二次规划、几何规划、最小二乘。...原创 2020-03-24 15:41:33 · 26890 阅读 · 0 评论 -
最优化方法三：等式约束优化、不等式约束优化、拉格朗日乘子法证明、KKT条件
1 等式约束优化问题等式约束问题如下：2 不等式约束优化问题原创 2020-03-24 00:10:56 · 34411 阅读 · 26 评论 -
最优化方法二：凸集、凸函数与凸优化
凸优化最基础的优化方法，设定凸函数、凸集合条件，满足该条件的优化问题可以方便地求解，同时非凸优化问题可以转化成凸优化问题求解，这是凸优化最有价值的地方。1 凸集凸集定义：对于集合D，若对于任意两点满足： 并且该连线上任一点处于集合中，则集合D...原创 2020-03-23 22:46:17 · 4003 阅读 · 1 评论 -
最优化方法一：微分求极值
1 一元函数求极值一元函数的极值通过导数判定，（前提是要有导数）。首先求解驻点，令：其次，判断驻点是否为极值点。2 多元函数求极值多元函数通过微分求解极值需要用到Hession矩阵。2.2 Hession矩阵Hession是二阶偏导数矩阵，是2*2对称方阵，具体形式如下：其性质如下：二元函数的极值判定过程如下：2.1多元函数极值多元函数的求解过程通过二元函数...原创 2020-03-23 12:40:49 · 9193 阅读 · 0 评论