sklearn -- 梯度下降法

最新推荐文章于 2025-05-27 09:08:58 发布

游九河

最新推荐文章于 2025-05-27 09:08:58 发布

阅读量2.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： sklearn 机器学习文章标签：梯度下降法 sklearn 随机梯度下降法

本文链接：https://blog.youkuaiyun.com/qq_40337206/article/details/89710619

sklearn 机器学习专栏收录该内容

5 篇文章

订阅专栏

本文深入浅出地介绍了梯度下降法的基本原理，将其比喻为下山过程，通过不断调整方向找到最低点。文章详细阐述了批量梯度下降、随机梯度下降和随机批量梯度下降三种方法，并提供了Python代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

梯度下降法

梯度下降法的基本思想可以类比为一个下山的过程。假设这样一个场景：一个人被困在山上，需要从山上下来(i.e. 找到山的最低点，也就是山谷)。但此时山上的浓雾很大，导致可视度很低。因此，下山的路径就无法确定，他必须利用自己周围的信息去找到下山的路径。这个时候，他就可以利用梯度下降算法来帮助自己下山。具体来说就是，以他当前的所处的位置为基准，寻找这个位置最陡峭的地方，然后朝着山的高度下降的地方走，同理，如果我们的目标是上山，也就是爬到山顶，那么此时应该是朝着最陡峭的方向往上走。然后每走一段距离，都反复采用同一个方法，最后就能成功的抵达山谷。

在这里插入图片描述

多元线性回归模型

在这里插入图片描述

损失函数

在这里插入图片描述

批量梯度下降法

在将训练数据集代入损失函数f 中，得到参数变量 W 和损失函数f的函数关系，在迭代过程中使用 f在 W处的梯度和W = W - ▽ · ε 公式，不断减小损失函数，直至找到最小的损失函数所对应的参数 W。

批量梯度下降法梯度

在这里插入图片描述

随机梯度下降法

将训练数据集中随机一条数据代入损失函数f 中，得到参数变量 W 和损失函数f的函数关系，在迭代过程中使用 f在 W处的梯度和W = W - ▽ · ε 公式，不断减小损失函数，直至找到最小的损失函数所对应的参数 W。

随机梯度

在这里插入图片描述

随机批量梯度下降法

为了进一步提升收敛速度。每次从数据集中随机选取一批数据训练模型，克服随机梯度下降法中模型对异常数据过度敏感。

python 代码

from sklearn.linear_model import SGDRegressor
from sklearn.preprocessing import StandardScaler
standardScaler = StandardScaler()
X_train_sta = standardScaler.transform(X_train)
X_test_sta = standardScaler.transform(X_test)
sgd_reg = SGDRegressor(n_iter=100000)
sgd_reg.fit(X_train_sta,y_train)
sgd_reg.score(X_test_sta,y_test)
#0.7102320877365798