梯度下降算法以及随机梯度下降算法的原理及python代码

最新推荐文章于 2023-12-12 11:01:27 发布
最新推荐文章于 2023-12-12 11:01:27 发布
阅读量2.4k 收藏 27
点赞数 5
CC 4.0 BY-SA版权
分类专栏： 深度学习 文章标签： python 梯度下降
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_40693859/article/details/88991864
本文介绍了梯度下降算法的基本原理，通过一元函数的例子阐述了如何利用梯度更新权重以逼近目标函数。还讨论了梯度下降可能陷入局部最优解的问题，并提出随机梯度下降作为解决方案。文章最后提供了两种算法的Python代码实现。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

梯度下降算法 

梯度下降，依照所给数据，判断函数，随机给一个初值w，之后通过不断更改，一步步接近原函数的方法。更改的过程也就是根据梯度不断修改w的过程。

以简单的一元函数为例

原始数据为

x_data = [1.0,2.0,3.0]
y_data = [2.0,4.0,6.0]

因此我们设置函数为

对于该函数，我们的w是未知的，因此如何根据xy的数据，获取到正确的w值就是梯度下降的目标。

首先我们要先给定一个随机w值，这个值可以是任何数，我们的算法就会根据我们所计算的cost函数，判断偏离正确数据有多大，之后根据梯度，对w进行更新，直到cost为0，我们也就获取到正确的w值。

cost函数，也就是根据自己的模拟量，算出的结果与原函数所给数据的差值的平方

cost函数的表示为（所求的是N个数据的平均cost）

cost函数对w的求导为

最低0.47元/天 解锁文章

200万优质内容无限畅学
【深度学习】机器学习中的梯度下降算法（Python源码）
梦想起飞的地方
05-31 524
梯度下降是机器学习中的核心优化算法，用于训练线性回归、逻辑回归、SVM和神经网络等模型。它通过迭代调整参数（权重和偏差）来最小化损失函数，其中反向传播计算梯度，梯度下降更新参数。实现过程包括前向传播计算预测值、计算损失、反向传播获取梯度，最后更新参数。梯度下降有多种变体（如批量、随机、小批量、动量等），各有优缺点。学习率的选择至关重要，过大可能导致振荡，过小则收敛缓慢。文章还探讨了梯度消失/爆炸问题及解决方案，并通过Python代码示例展示了梯度下降在PyTorch中的具体实现。
随机梯度下降法python实现
10-07
m = 100000 x = np.random.normal(size = m) X = x.reshape(-1, 1) y = 4.0 * x + 3.0 + np.random.normal(0 ,3, size = m) 。。。
梯度下降法VS随机梯度下降法 (Python的实现)
weixin_33735077的博客
02-27 179
1 # -*- coding: cp936 -*- 2 import numpy as np 3 from scipy import stats 4 import matplotlib.pyplot as plt 5 6 7 # 构造训练数据 8 x = np.arange(0., 10., 0.2) 9 m = len(x) ...
python实现随机梯度下降法
09-20
主要为大家详细介绍了python实现随机梯度下降法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
梯度下降法与随机梯度下降法的python代码实现
一路向北
03-23 1776
1 # -*- coding: cp936 -*- 2 import numpy as np 3 from scipy import stats 4 import matplotlib.pyplot as plt 5 6 7 # 构造训练数据 8 x = np.arange(0., 10., 0.2) 9 m = len(x) ...
Logistic算法（随机梯度下降法）的Python代码和数据样本
03-12
资源中包含随机梯度下降逻辑回归算法的Python代码和测试数据，python的版本为3.6，您运行代码前，将测试文件路径修改为您本地的存储路径，使用pycharm平台运行即可。
python实现梯度下降算法的实例详解
09-16
本文将详细讲解如何使用Python实现梯度下降算法，并通过一个实例进行说明。 首先，我们选用Python 2.7版本，因为Python 3在处理3D图形时可能出现问题。梯度下降算法通常应用于线性回归模型，如这里所使用的模型：\...
梯度下降算法与随机梯度下降
开开_王子的博客
11-26 501
1、相关符号M 训练样本的数量 x 输入变量，又称特征 y 输出变量，又称目标 (x, y) 训练样本，对应监督学习的输入和输出 表示第i组的x 表示第i组的y h(x)表示对应算法的函数 θ是算法中的重要参数（向量） 表示参数为的函数，以下考虑线性回归，所以表述为：2、梯度下降算法用表示函数计算输出的结果，用y表示期望的输出值 则-y表示误差，若我们有m组训练样本，在训练过程中，
梯度下降：全梯度下降算法(FG)、随机梯度下降算法(SG)、小批量梯度下降算法(mini-batch)、随机平均梯度下降算法(SAG)。梯度下降法算法比较和进一步优化。
あずにゃん梓喵的博客
08-12 4370
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） 2.2 梯度下降(Gradient Descent) 2.2.1 什么是梯度下降 梯度下降法的基本思想可以类比为一个下山的过程。 假设这样一个场景： 一个人被困在山上，需要从山上下来(i.e. 找到山的最低点，也就是山谷)。但此时山上的浓雾很大...
随机梯度下降与小批量梯度下降算法
10-23
损失使用平方函数，简单的线性模型 y = theta1 + theta2 * x
全梯度下降算法、随机梯度下降算法、小批量梯度下降算法、随机平均梯度下降算法、梯度下降算法总结
我的个人博客
12-09 5132
全梯度下降算法(FGD）、随机梯度下降算法（SGD）、随机平均梯度下降算法（SAGD）、小批量梯度下降算法（Mini-batch gradient descent，MGD）梯度下降优化算法，动量法、Adagrad、Adadelta、RMSProp、Adam
【Python代码】 局部线性回归（随机梯度下降方法）
萝卜丝儿皮尔
11-24 1081
原文在这里 ''' 这部分代码是lwls.py文件，基于随机梯度下降方法， 这与优快云大部分相关文章求解正规方程（中间需要求逆）的方法不同， 这里不需要求矩阵的逆。 但是，它带来的另外一个问题是如何调参，如何找到最好的参数………… 我暂时还没找到好方法…… 欢迎留言评论 ''' # Locally Weighted Linear Regression is very inefficient because Parameters are calculated again for each te
Python 随机梯度下降 SGD 代码实现 笔记
Lu君的博客
01-28 6046
回顾梯度下降流程 #1 初始化 θ\thetaθ #2 求 gradient #3 θt+1=θt−α•g\theta^{t+1}=\theta^{t}-\alpha • gθt+1=θt−α•g #4 ggg 收敛 随机梯度下降 SGD 随机：Stochastic 梯度：Gradient 下降：Descent 每一步下降用随机抽取的样本 优点：速度快 缺点：精度下降 for i = 1 to m...
梯度下降，随机梯度下降，代码实现
橙之之
02-16 1974
梯度下降： 分治法—可能会错过更好的取值。如果数据集或者维度大，代价也大。
随机梯度下降的代码实现
最新发布
eevee_1的博客
12-12 813
个人总结：随机梯度下降估计只有针对超大规模的数据有应用意义。
感知机 随机梯度下降代码
stay_accept的专栏
07-04 461
#include <map> #include <queue> #include <string> #include <math.h> #include <vector> #include <stdio.h> #include <stdlib.h> #include <iostream>
python写出梯度下降的代码
m0_53697837的博客
05-02 1520
使用Python实现的基本梯度下降（Gradient Descent）算法的示例
Python实现梯度下降算法教程与代码
综上所述，本资源通过提供一个压缩包文件，详细介绍了如何使用Python实现梯度下降算法，并探讨了该算法的理论基础、实现步骤、优化策略以及应用场景等。这对于希望在机器学习领域深化理解的开发者来说，是一个宝贵的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值