共轭梯度法python实现

原创 已于 2023-05-11 20:00:02 修改 · 811 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #python

于 2023-05-11 19:57:35 首次发布
文章介绍了Fletcher-Reeves和Polak-Ribiere两种共轭梯度法的算法框架，用于解决无约束优化问题。通过Python和numpy库实现算法，以二维函数为例，展示每种方法的迭代过程和最优解。并提供了代码示例及等值线图，比较了两种方法在函数值随迭代次数变化的情况。

两种共轭梯度法的算法框架：

Fletcher-Reeves

1. 任取X_0\in R^n,令k=0

2. 如果||\bigtriangledown f(X_k)|| \leq \varepsilon,停止计算

3. 如果k/n等于0或整数，令D_k=-\bigtriangledown f(X_k),否则令D_k=-\bigtriangledown f(X_k)+\alpha D_{k-1}，其中

\alpha _{k-1}=\frac{||\bigtriangledown f(X_k)||^2}{||\bigtriangledown f(X_{k-1})||^2}

4. 进行精确搜索获得X_{k+1}=X_k+t_kD_k

5. 用k+1替代k，回到2，继续迭代

Polak-Ribiere

1. 任取

最低0.47元/天 解锁文章
Cherry_csc
关注
共轭梯度法的变体：Fletcher-Reeves与Polak-Ribière对比
AI天才研究院
07-11 411
共轭梯度法 | Fletcher-Reeves（FR） | Polak-Ribière（PR） | 优化算法 | 共轭方向 | 数值稳定性 | 梯度下降在优化算法的江湖中，共轭梯度法（Conjugate Gradient, CG） 是一把“精准剑”——它既保留了梯度下降的简单性，又通过“共轭方向”的魔法，在二次函数下实现n步精确收敛（n为变量维度）。而Fletcher-Reeves（FR）和Polak-Ribière（PR）则是这把剑的两个“剑刃”：它们共享共轭梯度的核心逻辑，但在搜索方向更新上的微小差异，
使用Python实现共轭梯度法
BUG？不存在的！
06-12 679
在机器学习和数值计算领域，共轭梯度法是一种高效的优化算法。它可以用于求解线性方程组、最小二乘问题和非线性优化等问题。本文将介绍如何使用Python实现共轭梯度法。总结：本文介绍了如何使用Python实现共轭梯度法。通过本文的讲解，读者可以更加深入地理解共轭梯度法的原理和实现方式。接下来，我们需要定义一个函数，用于求解线性方程组Ax = b。首先，我们需要定义一个线性代数函数，用于计算向量之间的内积和矩阵与向量之间的乘积。上述代码中的tol和max_iter分别表示算法的精度和最大迭代次数。
改进的共轭梯度法
weixin_33728708的博客
04-20 737
今天看到共轭梯度法的两种实现，一种称为fletcher-reeves（FR-CG）方法，另一种称为polak-ribiere（PR-CG）方法。在含体积蒙皮的模拟过程中，两者差别不大又对比了wolfe的c1，c2取值，发现c2取0.1时，共轭梯度法在初始阶段收敛较取0.45时快，但后期收敛慢在不含体积蒙皮的模拟过程中，两者性能略有差别。但差别与是否只取大于0的beta，是否在梯度与上次迭代梯度方向...
python实现共轭梯度法
09-19
主要介绍了python实现的共轭梯度法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
CG共轭梯度算法python实现
12-29
CG共轭梯度算法python实现 # 775.5289919376373 500维度 def CG2(A, b, x, imax=500, epsilon=0.0000001): steps = np.asarray(x) i = 0 # 计算残差，也是负梯度方向 r = b - np.dot(A ,x)
Python实现共轭梯度法
最新发布
weixin_50547796的博客
03-14 920
在函数内部，我们实现了共轭梯度法的迭代过程，包括计算搜索方向、步长和更新解向量等步骤。共轭梯度法（Conjugate Gradient Method）是一种求解无约束最优化问题的迭代方法，特别适用于对称正定线性系统的求解。它结合了最速下降法和牛顿法的优点，能够在较少的迭代次数内达到较高的精度。由于它能够在不计算Hessian矩阵的情况下充分利用目标函数的二次性质，因此在处理大规模问题时具有较高的效率。共轭梯度法的关键在于构造一组共轭方向，使得在每个方向上进行一次线搜索后，都能使目标函数值有显著的下降。
python实现共轭梯度算法
热门推荐
HelloWorldTM的博客
03-22 1万+
python实现共轭梯度优化算法一、共轭梯度算法简介二、实现共轭梯度方法的两块重要积木1.共轭方向的确定2.方向优化步长的确定note3.共轭梯度算法优化过程 一、共轭梯度算法简介 共轭梯度(Conjugate Gradient)方法是一种迭代算法，可用于求解无约束的优化问题，例如能量最小化。常见的优化算法还有梯度下降法，相比于梯度下降法，共轭梯度法具有收敛更快，以及算法稳定性更好的优点。 从上图可以看出来，梯度下降法优化过程中函数是沿着梯度的反方向逐步优化，后一步优化的结果会对前一步的优化结果造成影响，
python怎么取共轭_python实现共轭梯度法
weixin_39604350的博客
12-04 568
共轭梯度法是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。在各种优化算法中，共轭梯度法是非常重要的一种。其优点是所需存储量小，具有步收敛性，稳定性高，而且不需要任何外来参数。算法步骤：import ra...
共轭梯度法与BFGS法Python实现
04-06
资源包括两个算法的python实现，分别是共轭梯度法和BFGS法，利用Numpy与Sympy，实现了只需输入函数与初始点等基本条件，即可求解并输出迭代过程种各参数变化。
共轭梯度法教程
02-24
共轭梯度法教程与PPT，简明易懂。 Conjugate Gradient is an intermediate between steepest descent and Newton’s method. It tries to achieve the quadratic convergence of Newton’s method without incurring the cost of computing Hf.At the same time, Conjugate Gradient will execute at least one gradient descent step per n steps. It has proved to be extremely effective in dealing with general objective functions and is considered among the best general purpose methods presently available.
基于Python共轭梯度法与最速下降法之间的对比
09-17
主要介绍了基于Python共轭梯度法与最速下降法之间的对比，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python实现共轭梯度算法（含误差与运算次数的折线图）
qq_41821608的博客
10-03 827
西安交通大学《数值分析》第三章课后题3.2 import numpy as np import math def generate_matrix(n): # 使用对角矩阵相加得到三对角矩阵A array_a = np.diag([-2] * n) array = np.diag([1] * (n-1)) a = np.zeros((n-1)) b = np.zeros(n) array_b = np.insert(array, 0, values=a, a
python:共轭梯度法（以希尔伯特矩阵为例）
qq_37789035的博客
04-01 2352
共轭梯度法（以希尔伯特矩阵为例） 实现共轭梯度算法并且使用它解决对称矩阵——希尔伯特矩阵为系数矩阵A时，右边常数项列向量为单位列向量，初始点为零向量。展示维度分别为5，8，12，20时的迭代次数与结果。 迭代终止条件为残差的二范数小于1e-6 import numpy as np def cg(x0, A, b): r0 = np.dot(A, x0) - b p0 = -r0 rk = r0 pk = p0 xk = x0 t = 0 #记录迭代次数
优化方法之共轭梯度法分析与实现（基于Python）
weixin_46325773的博客
06-12 3626
共轭梯度法也是解决无约束优化问题的常用迭代算法，它结合了最速下降法矩阵共轭梯度的性质，可以加快算法的迭代过程。且如果初始点选取后的最终优化中不满足精度条件，还可保存上一步得到的迭代点进行再次迭代直到获得较好的优化值。以上过程一般都可以获得较好的迭代点和优化值。该算法简介如下： 根据以上算法过程，我们可以选取目标函数进行测试，以下是测试代码： （注：读者可以自由地在初始数据修改初始点、精度等参数，以观察和比较不同初始点的迭代过程，迭代最优值的差异等，如果读者希望修改目标函数，则需要在相应的函数定义处进行
共轭梯度法 python_如何理解共轭梯度法?
weixin_28836875的博客
01-13 547
这篇文章仅仅只是讲解用的草稿, 因为最近知乎的编辑器用的比较顺手就借用来排版了. 写完吧觉得也还算可以, 虽说只是讲稿但也不会说太混乱, 就不删了, 发出来算了. 有兴趣可以随便看看, 质量不算高别抱太大期待.自认为是一篇超短、超易懂超感性的入门文章. 方法的目的就是通过迭代求得多元二次函数 的极值点.其中二次函数即: 若记 则函数写作二次型 注意上式中是维实矩阵, 是维实向量, 就是个实数...
共轭梯度法（算法分析+python代码解释）
m0_61209712的博客
11-03 9113
为了克服最速下降法在最优解附近收敛速度变慢和Newton法不具有整体收敛性以及需要计算Hesse矩阵的缺点，一种介于两者之间的方法被提出，这就是共轭方向法。这种方法不仅克服了上述缺点之外，还能保持上述两种方法各自的优点，即收敛性较好，并且可以在有限布内使二次函数达到最优，即具有二次终止性。
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值