牛顿法与拟牛顿法学习笔记（四）BFGS 算法

最新推荐文章于 2024-07-26 17:10:31 发布
原创 最新推荐文章于 2024-07-26 17:10:31 发布 · 7.7w 阅读 · 176 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#拟牛顿法 #BFGS #精确搜索 #Wolfe条件

本文探讨了机器学习中常见的非线性优化问题，并详细介绍了L-BFGS算法的数学原理及其在SparseFiltering等算法中的应用。文章从牛顿法讲起，逐步过渡到拟牛顿法、DFP算法、BFGS算法直至最终介绍L-BFGS算法。 



       机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。


目录链接


(1) 牛顿法

(2) 拟牛顿条件

(3) DFP 算法

(4) BFGS 算法

(5) L-BFGS 算法





作者: peghoty 

出处: http://blog.youkuaiyun.com/itplus/article/details/21897443

欢迎转载/分享, 但请务必声明文章出处.

牛顿法与拟牛顿算法详解
TOUCH的博客
10-24 1026
算法核心优势核心缺陷适用场景牛顿法收敛快（二阶收敛）计算海森矩阵及逆成本高，高维困难低维、函数光滑的优化问题拟牛顿法收敛较快，计算成本低近似矩阵可能偏离真实曲率高维优化（如机器学习模型训练）牛顿法和拟牛顿法是数值优化的核心算法，尤其在机器学习中，拟牛顿法（如BFGS、L-BFGS）是训练复杂模型（如XGBoost、神经网络）的常用工具。
L-BFGS算法介绍
weixin_34026276的博客
12-14 1万+
本文由作者林洋港授权网易云社区发布。一、 L-BFGS是什么L-BFGS是解无约束非线性规划问题最常用的方法，具有收敛速度快、内存开销少等优点，在机器学习各类算法中常有它的身影。简单的说，L-BFGS和梯度下降、SGD干的同样的事情，但大多数情况下收敛速度更快，这点在大规模计算中很重要。下图是深度学习Autoencoder模型不同优化方法的比较。二、 L-BFGS“之前”的那些方法这里的“之前”并...
大规模优化算法---LBFGS算法1
08-04
1. 最优化方法的迭代思想： 最优化方法采用的都是迭代的方法，基本思想是给定一个初始的点 x_0，按照某一个迭代的规则产生一个 2. 最速下降法（Gradien
LBFGS算法使用
settingsun1225的专栏
01-15 2万+
<br />一、首先把两个作者 JORGE NOCEDAL 给的文件看明白sdrive.f和lbfgs.f<br />   sdrive.f -  is a simple driver<br />   lbfgs.f  -  contains all the supporting routines<br /> <br />1、lbfgs.f文件包括LBFGS算法和运行函数等<br /> <br /> 主体函数为：<br /> subroutine lbfgs(n, m, x, f, g, diagco, d
Quasi-Newton拟牛顿法（共轭方向法）
weixin_44492024的博客
10-09 4339
Quasi-Newton拟牛顿法（共轭方向法）1. Introduction2. 牛顿法2.1 不能保证收敛2.2 Hessian计算复杂3. 共轭方向法3.1 共轭方向3.2 共轭方向上可以收敛到极小3.3 共轭梯度法得到的是Q上的共轭方向3.4 算法效果4. 拟牛顿法4.1 拟牛顿法构造的是Q的共轭方向4.2 确定Hk - 秩1修正公式4.2 确定Hk - DFP4.3 确定Hk - BFGS...
牛顿法，高斯-牛顿法
Yemiekai的博客
04-05 1万+
牛顿法（Newton’s method） 假如已知函数 f(x)f(x)f(x)，想要求 f(x)=0f(x)=0f(x)=0 的解（或者叫根）。 牛顿法（Newton’s method）大致的思想是： （1）选一个初始位置 x0x_0x0​（这个位置最好是在根的附近）； （2）在这个位置上找一个 f(x)f(x)f(x) 的近似函数（通常用泰勒展开）； （3）令近似函数为 000 ，求解； （4）以这个解为新的位置 x1x_1x1​； （5）重复上述迭代，到第 nnn 次迭代得到 xnx_nxn​，当 ∣
牛顿法与拟牛顿法学习笔记（二）拟牛顿条件
weixin_30436101的博客
03-24 2977
机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering 算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是 L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。 目录链接 (1)牛顿法 (2)拟牛顿条件 (3...
无约束优化：Hessian-Free Optimization 拟牛顿类算法（BFGS，L-BFGS）
xuuyann
01-05 2万+
无约束优化之拟牛顿类算法介绍
最优化学习笔记(十九)——拟牛顿法(5)BFGS算法
chunyun0716的专栏
02-12 8584
一、BFGS算法的更新公式    为了推导BFGS算法，需要用到对偶或者互补的概念，前边已经讨论过hessian矩阵逆矩阵的近似矩阵需要满足以下条件： Hk+1Δg(i)=Δx(i)0≤i≤k \boldsymbol{H}_{k+1} \Delta\boldsymbol{g}^{(i)} = \Delta\boldsymbol{x}^{(i)} \quad 0 \le i\le k 这是根据Δ
从牛顿法到L-BFGS的算法演变
Eason的博客
09-10 4401
前言(本文主要学习自该博主的文章：http://blog.youkuaiyun.com/itplus，以下是本人的笔记，主要记录了结论部分，省略了推导的部分。对具体推导过程有兴趣的同学请访问原博主的博客~)   拟牛顿法是求解非线性优化问题最有效的方法之一，其中DFP方法，BFGS方法以及L-BFGS方法都是重要的拟牛顿法。我们现在考虑如下无约束的极小化问题： >minxf(x),其中x=(x1,x2
高翔【自动驾驶与机器人中的SLAM技术】学习笔记（四）高斯牛顿法详解
最新发布
xiaoyaolangwj的博客
07-26 1939
还是那句话：高斯牛顿法是对：最小二乘法展开的是后面的函数部分。将f(x)一阶泰勒展开（一阶就要带雅可比矩阵）。这个自变量增量都是可求的。因此为了简化有了下面的高斯牛顿法。不过只适用于最小二乘法。最小二乘法展开的是后面的函数部分。将f(x)一阶泰勒展开（一阶就要带雅可比矩阵）。通过使用不含有二阶导数的矩阵U代替牛顿法中的H，根据矩阵U构造的不同，具有不同的拟牛顿法。所以为了使增量的更加稳定可靠，对其做了限制，增加了置信域。无论一阶泰勒展开，还是二阶泰勒展开都是关于增量。缺点：雅可比矩阵有时是。
凸优化学习-（二十六）无约束优化算法——牛顿法、拟牛顿法及无约束算法总结
欢迎你
04-05 1606
凸优化学习 学习笔记 一、牛顿法（Newton’s method\text{Newton's method}Newton’s method） 1.推导 在最速下降法中，我们的方向： dk=arg⁡min⁡v{f(xk+v)∣∥v∥=1} d^k=\arg\min_v\lbrace f(x^k+v)\big|\|v\|=1\rbrace dk=argvmin​{f(xk+v)∣∣...
大规模优化算法 - LBFGS算法
muye5的专栏
04-22 2477
http://blog.sina.com.cn/s/blog_eb3aea990101gflj.html
（二）拟牛顿条件
weixin_30765577的博客
05-13 255
牛顿法需要计算目标函数的二阶偏导数，计算复杂，而且有时目标函数的海森矩阵无法保持正定，因此有人提出了拟牛顿法：一种类似牛顿法的方法。思路是不用二阶偏导数就构造出可以近似海森矩阵的正定对称阵。拟牛顿条件是指出了用来近似的矩阵应该满足的条件。 转载于:https://www.cnblogs.com/Aaron12/p/9033200.html...
拟牛顿条件（转载）
weixin_30381317的博客
05-13 110
转载链接：http://blog.youkuaiyun.com/itplus/article/details/21896619 转载于:https://www.cnblogs.com/zf-blog/p/6848016.html
第十一章条件随机场.11.2 拟牛顿法
老毛的博客
04-14 325
文章目录牛顿法拟牛顿法 本课程来自深度之眼，部分截图来自课程视频以及李航老师的《统计学习方法》第二版。 公式输入请参考：在线Latex公式 牛顿法 对于一个无约束最优化问题min⁡x∈Rnf(x)\underset{x\in \R^n}{\min}f(x)x∈Rnmin​f(x) 假设f(x)f(x)f(x)具有二阶连续偏导数，通过迭代方法寻找最优点xxx，即x(1)→x(2)→⋯→x(k)→x(k+1)→⋯x^{(1)}\rightarrow x^{(2)}\rightarrow\cdots \right
L-BFGS算法
热门推荐
ACdreamer
03-29 2万+
前面的文章中，讲述过BFGS算法，它是用来求解最优化问题的，在这个算法中，相对于普通的牛顿迭代法有很大的改进。链接：http://blog.youkuaiyun.com/acdreamers/article/details/44664941。在BFGS算法中，仍然有缺 陷，比如当优化问题规模很大时，矩阵的存储和计算将变得不可行。为了解决这个问题，就有了L-BFGS算法。     Contents
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值