Optimization之GD，Newton Method

最新推荐文章于 2023-06-28 17:33:48 发布
最新推荐文章于 2023-06-28 17:33:48 发布
阅读量1.2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： __CMU_ECE_MS_PERIOD__ RL & DL & SLAM 文章标签： 强化学习 attention model RAM RNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c602273091/article/details/79111771
本文探讨了机器学习中优化的重要性，主要聚焦于梯度下降（GD）和牛顿法。文章介绍了GD的基本概念，包括梯度、Laplacian Operator和Hessian Matrix，并讨论了GD的学习率问题。接着，详细讲解了牛顿法及其对强二次型函数的快速收敛特性，同时也提到了其对非二次型函数的局限性。此外，还提及了动量法、Adagrad、RMSProp和Adam等优化算法，以及它们在处理不同问题上的优势和应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

转载请注明出处： http://blog.youkuaiyun.com/c602273091/article/details/79111771

机器学习或者是深度学习中涉及了不少优化理论，那么问题来了，在机器学习中，它优化的目标是什么？它是如何进行优化的？为什么进行这种优化？这种优化的好处以及坏处？以及这种优化方法适合什么情况？最近在上CMU 18-660 Optimization的课程，一开始看的Convexity看得我一脸懵逼，老师讲得慢，今年这个新来的老师把phd的10-725的课程搬了过来，它已经不是以前的水课了。所以我开始学习优化理论，从简单的GD和Newton Method入手感受一下【6】。

Learning可以说是机器学习的核心，而学习的过程的过程需要用到optimization这个工具。这篇文章主要是介绍了梯度下降和牛顿迭代法，顺带着用几句话介绍了牛顿迭代法的改进以及矩阵分解。

gradient descent

这里写图片描述

上面的式子结果是什么？如果没有理解透GD的话，以上这个可能都会算错。搞混了Lapalace Operator和Hessian Matrix也会搞错。

第一个求的是梯度，那么什么是梯度？梯度就是当前值往变量所在增长方向变化最快的数值，梯度是一个响亮，函数中有几个变量，那么梯度就是几维的向量。所以结果就是一个向量：（忘记了常用导数求导公式【15】）
[2∗x+cos(y),−x∗sin(y)]

第二个是Laplace operator,不是Hessian Matrix，Hessian Matrix在2的正下方会标出变量，等会儿会说到。所以这个Laplace Operator的结果就是：（如果忘记了各种算子，请看【16】）

最低0.47元/天 解锁文章

200万优质内容无限畅学
常见的优化方法总结（GD,SGD,SAG,SVRG,BFGS）
SCUT_Sam
06-07 1万+
机器学习中常用的优化方法.................MARK.....................持续更新 梯度下降法： 1.随机梯度下降法（每次只选取一个样本来代替当前的梯度值） 2.批量梯度下降法（每次选取m个样本来代替当前梯度值） 3.梯度下降法（选取所有样本值来计算梯度值） 总结：利用梯度下降法进行优化时，梯度值的计算是和样本有关的，因此，原始的梯度下降法需要计
数值优化（Numerical Optimization）学习系列-目录
fangqingan_java的专栏
12-27 3万+
概述 数值优化对于最优化问题提供了一种迭代算法思路，通过迭代逐渐接近最优解，分别对无约束最优化问题和带约束最优化问题进行求解。 该系列教程可以参考的资料有 1. 《Numerical Optimization 2nd》–Jorge Nocedal Stephen J. Wright 2. 《凸优化》–Stephen Boyd 3. 《非线性最优化基础》–Masao Fukushima
NewtonOptimization:牛顿优化法对多元函数的优化
03-13
NewtonOptimization:牛顿优化法对多元函数的优化
再谈 牛顿法/Newton's Method In Optimization
Marshall的专栏
06-17 3208
转自：http://www.codelast.com/?p=8052 牛顿法是最优化领域的经典算法，它在寻优的过程中，使用了目标函数的二阶导数信息，具体说来就是：用迭代点的梯度和二阶导数对目标函数进行二次逼近，把二次函数的极小点作为新的迭代点，不断重复此过程，直到找到最优点。 『1』历史 话说，牛顿法为什么叫牛顿法？这个近乎“废话”的问题，谁又真正查过？ Wiki里是这样写的：
牛顿方法（Newton's Method）
weixin_30894389的博客
08-11 256
转载请注明出自BYRans博客：http://www.cnblogs.com/BYRans/ 在讲义《线性回归、梯度下降》和《逻辑回归》中我们提到可以用梯度下降或梯度上升的方式求解θ。在本文中将讲解另一种求解θ的方法：牛顿方法（Newton's method）。 牛顿方法（Newton's method） 逻辑回归中利用Sigmoid函数g(z)和梯度上升...
对梯度下降法的优化：随机梯度下降、牛顿法、动量法、Nesterov、AdaGrad、RMSprop、adam的理解
qq_66736913的博客
03-25 764
在（1）式中，我们其实求的是样本的交叉熵的期望，期望往往是反映总体的某个attribution，与样本是无关的，取一个样本求期望也能得到这个attribution,取N个样本求期望也能得到，二者之间的区别不过是精度。显而易见，GD需要对样本的所有数据进行求和，在深度学习中数据总量是很大的，并且每个样本的维度也是极大的，何况我们不止进行一次优化，往往需要多次优化而逼近最优化，这样的计算在实践上是无法进行的。如果加入β，在步数很多的时候，前面的所有历史数据都会被加入，这样明显是不合适的。
牛顿法（Newton's Method） 解决优化问题——机器学习
Norstc的博客
08-04 1万+
一、简介 牛顿方法同梯度下降法一样，是一种优化算法，其应用如可解决logistic回归于分类问题中的似然函数最大化。 其是一种用于求函数零点的数值方法。 二、具体形式 首先选择一个与零点相近的起始点，之后遵循以下更新规则不断更新： 实际上，对于f(x)上的一个点(x0,f(x0))，求过此点切线（即斜率为f'(x0)）与x轴的交点，即解以下方程 若原先的点x0记作xn，新得到的...
数值优化简介
ctbinzi的专栏
06-28 2549
数值优化这个名字来源于一本书，名为《Numerical Optimization》。Numerical Optimization这两个单词传递了两个知识领域的概念：Optimization指的是数学概念上的优化，即求最优解，也可以理解为求函数的最小值的解；Numerical指的是数值计算，即在计算机上通过编程实现数学公式计算；因此数值优化主要研究对象是怎么编写计算机程序求解数学领域的最优化问题，特别是计算工程领域的最优方案。数值优化首先是个数学优化问题，可以简单理解为下面的数学公式。
常见的几种矩阵分解方式
bitcarmanlee的博客
09-25 10万+
1.三角分解(LU分解)矩阵的LU分解是将一个矩阵分解为一个下三角矩阵与上三角矩阵的乘积。本质上，LU分解是高斯消元的一种表达方式。首先，对矩阵A通过初等行变换将其变为一个上三角矩阵。对于学习过线性代数的同学来说，这个过程应该很熟悉，线性代数考试中求行列式求逆一般都是通过这种方式来求解。然后，将原始矩阵A变为上三角矩阵的过程，对应的变换矩阵为一个下三角矩阵。这中间的过程，就是Doolittle al
Numerical Optimization（数值最优化）系列笔记——1
qq_45980067的博客
11-10 2973
Numerical Optimization （数值最优化）系列笔记 ——前置知识与无约束最优化基础 1. Mathematical Formulation  从数学上来说，最优化问题就是求一个目标函数在其自变量的约束条件下的最大值或最小值。我们用如下的表达式来表示： 这里 ε\varepsilonε 和 τ\tauτ 分别是是等式和不等式约束条件的下标数。  学习过程中，均统一为求最小值问题，因为若想求函数f(x)的最大值，可以令g(x)= - f(x)，转换成求最小值。 2. 凸集和凸函数 凸函数在最
数值优化-Numerical Optimization-学习历程
爱学习的校长的博客
05-22 1095
由于最近师兄毕业在即，需要继承“伟大的”课题组成果，也为了顺利毕业，特地记录学习数值优化的过程！ 参考书：Numerical Optimization（Jorge Nocedal 、Stephen J. Wright） 第一章-介绍 1.数学公式 简单介绍了优化算法在经济领域、自然科学领域的广泛性，并且强调了优化算法作为重要工具应用在了决策科学和物理系统分析上，但是首先需要确定一些目标，这些目标可以是利润、时间、势能、数量和数量组合，只要能用一个数字来表示它们。我们的目标就是找到最优化目...
Foundations of Optimization (Guler)
01-26
Optimization的一本好书，ISBN 978-0-387-34431-7，作者Guler Amazon link: http://www.amazon.com/Foundations-Optimization-Graduate-Texts-Mathematics/dp/0387344314
优化算法——牛顿法(Newton Method)
热门推荐
null的专栏
11-13 12万+
一、牛顿法概述
Newton法（牛顿法 Newton Method）
春华秋实
09-16 3万+
平时经常看到牛顿法怎样怎样，一直不得要领，今天下午查了一下维基百科，写写我的认识，很多地方是直观理解，并没有严谨的证明。在我看来，牛顿法至少有两个应用方向，1、求方程的根，2、最优化。牛顿法涉及到方程求导，下面的讨论均是在连续可微的前提下讨论。   1、求解方程。 并不是所有的方程都有求根公式，或者求根公式很复杂，导致求解困难。利用牛顿法，可以迭代求解。 原理是利用泰勒公式，在x0处展开，
数值优化（Numerical Optimization）学习系列
思我所
08-30 1284
点击即可打开链接：数值优化（Numerical Optimization）学习系列-目录
数值优化（Numerical Optimization）学习系列-概述
fangqingan_java的专栏
12-27 3万+
数值优化的学习过程是长期的、是枯燥的也是最有用的，一旦入门对机器学习者、算法工作者都会有很大的帮助。在此记录Numerical Optimization的学习、思考和实践。
PyTorch基础（六）-- optim模块
CarpeDiem
03-20 5705
PyTorch的optim是用于参数优化的库（可以说是各种梯度下降的变种），optim文件夹主要包括1个核心的父类（optimizer）、1个辅助类（lr_scheduler）以及10个常用优化算法的实现类。optim中内置的常用算法包括adadelta、adam、adagrad、adamax、asgd、lbfgs、rprop、rmsprop、sgd、sparse_adam。本文主要整理了这些优化算法的主要思想，使用方法，以及在训练过程中的优缺点。...
数值优化（Numerical Optimization）学习系列-计算导数（Calculating Derivatives）
fangqingan_java的专栏
12-27 5195
概述 最优化问题中很多算法，包括非线性最优化、非线性等式等都需要计算导数。简单函数可以直接进行人工计算或者编码实现，对于复杂的情况，需要寻找一些方法进行计算或者近似。本节主要内容包括 1. 常见导数求解方法 2. 有限差分方法 3. 自动微分方法 4. 总结 常见导数求解方法 有限差分方法（Finite Differencing） 根据导数的定义，导数表
【优化算法】牛顿法(Newton's method)
北境の守望者
08-06 2802
牛顿法是利用 Hessian 矩阵提供的二阶导数信息来指导搜索的最简单的算法。 牛顿法基于一个二阶泰勒展开来近似 x0x0x_0附近的 f(x)f(x)f(x), f(x)≈f(x0)+(x−x0)∇xf(x0)+12(x−x0)THf(x0)(x−x0)f(x)≈f(x0)+(x−x0)∇xf(x0)+12(x−x0)THf(x0)(x−x0)f(x) \approx f(x_0) + (x-...
设定一个二元函数，先做出函数的原始图像，然后分别用牛顿法和梯度下降法求解极小值，自己设定一个区间，分别使用三组不同的初值和步长进行迭代，画出图像，分别给出具体的python代码
最新发布
04-28
newton_results = newton_method(func, grad_func, hess_func, initial_points) gd_results = gradient_descent(func, grad_func, initial_points, learning_rates) ``` --- ### 迭代路径可视化 将不同方法的迭代...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值