花书+吴恩达深度学习（九）优化方法之二阶近似方法（牛顿法, CG, BFGS, L-BFGS）

最新推荐文章于 2023-03-20 14:54:05 发布
最新推荐文章于 2023-03-20 14:54:05 发布
阅读量3.9k 收藏 13
点赞数 5
CC 4.0 BY-SA版权
分类专栏： 深度学习 文章标签： 深度学习 二阶 牛顿法 共轭梯度法 CG
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhq9695/article/details/84774522
本文介绍了深度学习中的二阶优化方法，包括牛顿法、共轭梯度法（CG）、BFGS和L-BFGS。牛顿法利用二阶信息快速下降，但计算成本高；CG结合一阶和二阶信息，避免了梯度下降的慢速收敛；BFGS和L-BFGS是拟牛顿法，BFGS存储需求较大，而L-BFGS降低了存储成本。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

0. 前言

1. 牛顿法

2. 共轭梯度法（CG）

3. BFGS

4. L-BFGS

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~

花书+吴恩达深度学习（五）正则化方法（防止过拟合）

花书+吴恩达深度学习（六）优化方法之 Mini-batch（SGD, MBGD, BGD）

花书+吴恩达深度学习（七）优化方法之基本算法（Momentum, Nesterov, AdaGrad, RMSProp, Adam）

花书+吴恩达深度学习（八）优化方法之 Batch normalization

花书+吴恩达深度学习（九）优化方法之二阶近似方法（牛顿法, CG, BFGS, L-BFGS）

0. 前言

在之前，通常使用梯度下降法进行模型训练，除此之外，还有许多二阶的近似方法。

本篇主要是简单介绍总结这几种方法，不进行深入。

假设代价函数表示为：

J(\theta)=\frac{1}{m}\sum_{i=1}^m\mathfrak{L}(\hat{y}^{(i)},y^{(i)})

1. 牛顿法

牛顿法是基于二阶泰勒级数展开在某点 \theta_0 附近来近似 

最低0.47元/天 解锁文章

200万优质内容无限畅学
二阶优化方法——牛顿法、拟牛顿法(BFGS、L-BFGS)
ty44111144ty的博客
09-21 8336
原文地址：二阶优化方法——牛顿法、拟牛顿法(BFGS、L-BFGS) 欢迎关注我的公众号，微信搜algorithm_Tian或者扫下面的二维码~ 现在保持每周更新的频率，内容都是机器学习相关内容和读一些论文的笔记，欢迎一起讨论学习~ 对于逻辑回归和最大熵模型等以似然函数为最优化目标的问题，一般常用的求解方法有梯度下降法、牛顿法和拟牛顿法等。梯度下降法是一阶优化方法。牛顿法和拟牛顿法是...
数学笔记6——线性近似和二阶近似
我是8位的
09-12 2万+
线性近似 　　假设一般函数上存在点(x0, f(x0))，当x接近基点x0时，可以使用函数在x0点的切线作为函数的近似线。函数f(x)≈f(x0)+f'(x0)(x- x0)即称为函数f在x0点的线性近似或切线近似。 f(x) ≈ f(x0) + f'(x0)(x- x0) 公式来源 几何意义 　　线性近似求解的是近似值，其几何意义是在基点的切线近似于原函数的
单变量微积分（七）：二阶近似
沈遇玄的博客
02-03 1829
相比于线性近似，二阶近似更加精准 公式如下（基于线性近似的基础）： 蓝色部分为线性近似，红色部分为二阶近似（二次项部分） 只有在线性近似不够用时才会用到二阶近似，工程中大部分用到的还是线性近似。近似不会超过二阶。 二阶近似表格 当时，代入二阶近似公式可得 0 -1 1 -1 ...
基于二阶近似方法的优化算法
weixin_40444270的博客
11-04 2343
参考文章 深度学习(花书) 梯度下降法、牛顿法和拟牛顿法 - Eureka的文章 - 知乎 梯度下降法与牛顿法比较 - 王多鱼的文章 - 知乎 【最优化】无约束优化方法-牛顿法 - 忆臻的文章 - 知乎 泰勒公式-百度百科 二阶梯度方法使用二阶导数改进了优化，最广泛使用的时牛顿法 牛顿法 思想 用目标函数的二阶泰勒展开近似该目标函数，通过求解这个二次函数的极小值来求解凸优化的搜索方向 牛顿法的主要应用在两个方面:1.求方程的根；2. 最优化 预备知识 一元泰勒展开式 此次使用一元泰勒展开式
二阶优化算法：牛顿法
Im_Chenxi的博客
06-02 7382
    牛顿法的基本思想：利用迭代点处的一阶导数（梯度）和二阶导数（Hessian矩阵）对目标函数进行二次函数近似，然后把二次模型的极小点作为新的迭代点，并不断重复这一过程，直至求得满足精度的近似最小值。    牛顿法的更新公式，基于二阶泰勒展开：    然后对上式求导，并令，得到更新公式：        对于神经网络病态条件问题，出现在梯度变化过快的情况时即二阶导数较大，此时通过二阶优化算法如牛...
人工智能数学基础----线性二阶近似
weixin_34356138的博客
06-27 699
人工智能数学基础系列文章 1. 人工智能数学基础----导数 2. 人工智能数学基础----矩阵 3. 人工智能数学基础----线性二阶近似 经过第一篇导数的学习后，想必对于导数的知识也有所理解了，下面来看看“线性二阶近似”。 线性近似 咋一看，这玩意又是啥，这里先不说明，先给出一个公司：f(x) ≈ f(x0) + f'(x0)(x - x0)。函数f(x)近似于 f(...
第二单元 用python学习微积分（八）线性近似、二阶近似的应用
牛眼观世界
12-18 1665
本文内容来自学习一、线性近似 f(x) \approx f(x_0) + f'(x_0)(x-x_0) ,主要是因为在x0点处的切线与曲线在x0点相似 1、从图形上解释这个公式： from sympy import * import numpy as np import matplotlib.pyplot as plt fig = plt.figure() ax = fig.add_subplot(1, 1, 1) ax.spines['left'].set_position('zero'
牛顿法为什么是二阶的
itheta的博客
06-22 1万+
查了很多地方说牛顿法是二阶算法，一直没找到二阶项在哪。花了大半天的时间才弄明白。记录一下。 牛顿法一般应用场景： 求方程的根； 求解最优化方法； 比如要求f(x)=0f(x)=0f(x)=0的根。 首先，选择一个接近函数 f(x)f(x)f(x)零点的 x0x_0x0​，计算相应的 f(x0)f(x_0)f(x0​)和切线斜率f′(x0)f ' (x_0)f′(x0​)（这里...
最优化中的牛顿法，二阶收敛性
热门推荐
天天向上的专栏
11-17 3万+
最近偶尔翻阅一本写的不错的最优化理论教材，该书讲得很详细，很透彻。我对非线性规划理论又有了全新的认识，发现牛顿法可以说是是无约束优化中最重要的方法，其他方法：LM方法，高斯牛顿，拟牛顿法，共轭梯度法可以说是对牛顿法的扩展。准备闲来无事时将牛顿法的原理以及求解过程用数例好好再过一遍。 适用对象：二阶可微函数 牛顿法的几何意义本质： 在原函数的某一点处用一个二次函数近似
二阶梯度优化新崛起，超越 Adam，Transformer 只需一半迭代量
机器学习算法与Python学习
03-29 963
选自arXiv机器之心编译常见的最优化器，如 Adam、AdaGrad、SGD+Momentum 等，都是一阶的。但是二阶梯度的收敛速度相比它们就快了太...
最优化算法程序
05-03
最优化的基本算法matlab实现，包含CG，BFGS，Newton-CG等
基于Newton法改进的BFGS迭代算法与Newton-CG算法
02-07
基于Newton法改进的BFGS迭代算法与Newton-CG算法，侯麟，尚晓吉，本文主要研究了数值分析中数值优化与非线性方程组求解这两个重要问题。文中首先概述了数值优化与非线性方程组的关系，然后对BFGS�
牛顿法（吴恩达机器学习c#实践）
ganggangwawa的博客
09-21 330
参考书目：机械最优设计技术，孟兆明 常德功编著 namespace 牛顿法//求函数minF（X）=x0^2+x1^2-x0*x1-15*x0+75 { public partial class Form1 : Form { public Form1() { InitializeComponent(); } int 维数N = 2; double 收敛精度E = 0.01; ...
吴恩达第三集——牛顿法和softmax
qq_34489443的博客
05-14 348
1.牛顿法 参考：https://blog.youkuaiyun.com/linolzhang/article/details/60151623，介绍比较透彻 2.softmax 参考：https://blog.youkuaiyun.com/wangyangzhizhou/article/details/75088106，但是有些地方还是不太清除，比如有些博客写的需要损失函数，就没有搞懂原理 ...
常用的GC算法
奋斗一生
12-05 272
1）标记非活动对象 －－何为非活动对象，通俗的讲，就是无引用的对象。 追踪root对象算法： 深度追踪root对象，将heap中所有被引用到的root做标志，所有未被标志的对象视为非活动对象，所占用的空间视为非活动内存。 2）清理非活动对象 Copy算法： 方法：将内存分为两个区域（from space和to space）。所有的对象分配内存都分配到fr...
机器学习｜逻辑回归｜吴恩达学习笔记 | 牛顿法
知识库搭建ing
03-20 1200
在分类问题中，我们尝试预测的是结果是否属于某一个类（例如正确或错误），即我们要预测的变量y是，这里要用到的是逻辑回归算法。
【吴恩达系列】machine learning课程week3----分类和逻辑回归（梯度下降+牛顿法）
2020找offer
05-02 423
Week3：逻辑回归1. 二元分类下的逻辑回归问题1.1 Sigmoid函数1.2 决策边界1.3 代价函数1.4 梯度下降法1.5 高级优化算法（fminunc）2. 多分类问题3.补充：牛顿法3.1 牛顿法求方程零点3.2 牛顿法求函数lll最大值4. 代码4.1 Python代码4.2 Matlab代码5. 参考资料 逻辑回归 逻辑回归属于分类问题，多数情况是二元分类，也存在元分类{1, ...
一种基于牛顿-cg的增广拉格朗日方法来求解非凸等式约束优化的二阶平稳点(高概率非凸)
jj18839161636的博客
02-09 632
摘要研究了在已知近似可行点的情况下，寻找非凸等式约束优化的二阶平稳点（SOSP）。特别地，我们首先提出了一种新的纽顿CG方法来寻找无约束优化的近似SOSP，并表明它比牛顿-CG方法[56]具有明显更好的复杂性。然后，我们提出了一种基于牛顿-cg的增强拉格朗日（AL）方法来寻找非凸等式约束优化的近似SOSP，其中提出的牛顿-cg方法作为子问题求解器。我们表明，在广义线性独立约束条件（GLICQ），我们的方法享有总内部迭代的复杂性o（−7/2）和操作复杂性的o（−7/2分钟{n，−3/4}）找到一个（√）-SO
优化算法介绍
辉的博客
03-06 427
共轭梯度法（Conjugate Gradient, CG）
吴恩达深度学习系列课后作业6：优化方法练习
吴恩达深度学习课后作业系列6涉及的是深度学习课程的第六周的学习内容，从描述中可以推断出这一周的课后作业主要围绕优化方法。为了更好地掌握这部分内容，我们首先需要了解优化方法在深度学习中的重要性，其次需要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值