梯度下降3tips

最新推荐文章于 2024-12-12 11:17:08 发布
原创 最新推荐文章于 2024-12-12 11:17:08 发布 · 158 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了优化算法中的自适应学习率策略Adagrad，解释了如何根据参数梯度调整学习率以平衡更新速度。同时，讨论了随机梯度下降（SGD）在训练效率上的优势。此外，提到了特征缩放在加速收敛过程中的作用。

 

1、adaptive learing rate

最简单的原则：学习率会随着迭代次数的增多而减小；因为在开始的时候，我们离目的地太远，所以需要使用比较大的学习率，经过好几次的参数更新之后，离目标已经很近了

比如常见的例子经过t次之后，\eta ^{^{t}}=\eta /\sqrt{1+t}

另外不同的参数需要不同的学习率

 

Adagrad：每一个参数的学习率都除上之前迭代次数中所计算的该参数的导数的均方根，所以每个参数的学习率都不一样

w^{t+1}=w^{t}-\frac{\eta ^{^{t}}}{\delta ^{^{t}}}g^{t}（1）

\eta ^{^{t}}=\eta /\sqrt{1+t}  （2）

\delta ^{^{t}}=\sqrt{\frac{1}{t+1}\sum (g_{i})^{^{2}}}  （3）i从0开始，所以是t+1

经过上（1-2-3-）式

w^{t+1}=w^{t}-\frac{\eta }{\sqrt{\sum (g^{i})^{2}}} g^{t} （4）

上面（4）有个矛盾的地方，g^{t}越大，代表其梯度越大，参数更新越快，但是前面的系数的分母也含参数，表明，梯度越大，参数更新越慢。这是为了造成反差的效果，以防前几次梯度太大，而这次梯度太小，或者相反，造成一个具有反差的例子。

对于单参数来说，梯度和Loss是可能成正比的，梯度越大，可能Loss越大，比如二次函数型的Loss。但是对跨参数来说，是不成立的，需要引入二次微分，即使用一次微分除以偶尔此微分，可以比较当前不同参数离最低损失的参数的距离，

而Adagrad中，\sqrt{\sum (g^{i})^{2}}中可以放映二次微分的大小（并不是对其求近似），而且在不增加额外计算的情况下

 

2、Stochastic Gradient Descent(随机梯度下降)

每次只计算一个sample的梯度，并更新，虽然不稳定，但是很快

 

3、Feature Scaling 

能够加快收敛速度，一个方法：对所有的sample，求每一个特征的均值及标准差，然后标准化

 

梯度下降，就相当于以当前参数为圆心，以补偿为半径，画一个圆/球，找到圆/球上的Loss最小，而梯度下降，是根据求梯度的反方向作为Loss的最低。

Tarlor级数：h（x）在x=x0可微分，h(x)=h（x0）+h'(x0)(x-x0)

h(x,y)=h(x0,y0)+ah(x0,y0)*(x-x0)/ax+ah(x0,y0)*(y-y0)/ay  

梯度下降及其弊端
weixin_37140379的博客
12-01 4537
深夜博客又开始熬鸡汤了，这次鸡汤熬的是梯度下降！ 不废话了，直接主题 什么是梯度下降 有这么一个比喻，现在有一座山，而你处在山顶要以最快的速度走到山脚，在步长固定的情况下，每一次应该选择往最峭的方向走(也就是坡度最大)。 参数优化的过程类似于下山的过程，初始化权值(weights)Θ是有一串随机数组成的向量，毫无疑问这时候预测值与真实值的loss(误差)会比较大...
最优化方法——最小二乘法与梯度下降法
热门推荐
转载请标明出处，完整项目/代码详见github：https://github.com/yiru1225
12-26 1万+
本篇博客主要介绍最小二乘法、梯度下降法的原理与流程，分别使用Matlab、Pycharm分别实现了最小二乘法、不同迭代停止条件的梯度下降法等方法对给定优化模型进行求解并进行解之间的误差分析对比，并进行了一定理论与应用（内附数据集和python及matlab代码）。
【深度学习入门】梯度下降算法
专注上位机开发、机器视觉、机器学习、嵌入式软硬件开发
12-12 5926
掌握参数初始化策略的优点掌握Mini-batch的特点以及优势掌握梯度下降算法优化的目的以及效果掌握指数移动平均值的好处掌握动量梯度下降法的优点以及RMSProp、Adam的特点掌握学习率衰减方式掌握标准化输入带来的网络学习速度的提升。
机器学习之Gradient Descent（梯度下降）tips
qq_42187809的博客
03-29 204
Gradient Descent （机器学习中的第三个步骤） 目标：找一个最好的函数来解决最优化问题（optimization problem） （机器学习的第二步中，定了一个loss function（function的function）能评价找到的function有多不好） 我们首先随机选择loss fuction的参数，并求其偏微分，求得方向 逐步得到目标参数 在这个过程中 会出现一些问题 ...
梯度下降优化算法
一抹烟霞的博客
05-12 3138
梯度下降优化算法一、简介二、梯度下降方法2.1 批量梯度下降法BGD2.2 随机梯度下降法SGD2.3 小批量梯度下降法MBGD三、传统梯度下降法面临的挑战四、改进的梯度下降算法4.1 Momentum4.2 Nesterov accelerated gradient4.3 Adagrad4.4 RMSprop4.5 Adam4.6 对比与选择五、Tips 一、简介 二、梯度下降方法 一般线性回归函数的假设函数为： 以平方差损失函数的形式为例： 2.1 批量梯度下降法BGD 批量梯度下降法（Batch
小批量梯度下降算法步骤_机器学习初学者能看懂的梯度下降算法
weixin_42524703的博客
12-23 840
【IT168 评论】本节尝试独立于机器学习算法, 单纯地来讲梯度下降算法 [Gradient Descent, GD], 以使梯度下降更具一般性.开始之前, 先放 2 个基本概念, 带着这 2 个认识, 在几乎不具备机器学习知识的前提下, 应该也能很好地读懂本节内容:机器学习的主要任务之一, 就是通过训练, 习得一组最优的参数. 常以成本函数 [Cost Function] 作为参数估计的函数, ...
改善深层神经网络(3)——优化算法 之 mini-batch梯度下降法详解
凝望，划过星空的博客
08-06 4492
文章目录1.1 mini-batch梯度下降法1.1.1 mini-batch算法的基本思路1.1.2 更好地理解mini-batch算法1.1.3使用mini-batch算法的实例 在本周的学习笔记中，我将会记录一种常用的优化算法，用于加速神经网络的训练 1.1 mini-batch梯度下降法 1.1.1 mini-batch算法的基本思路 当我们的样本数量巨大的时候，如果我们还是使用之前的梯度...
【深度学习】梯度下降与反向传播
CXY819394的博客
02-03 2465
学习记录#梯度下降和反向传播是机器学习和深度学习中非常重要的两个概念，尤其是在训练神经网络时。今天我们来总结一下。
李宏毅机器学习误差和梯度下降法
weixin_51352168的博客
05-19 881
误差和梯度下降法
Python-使用梯度下降法（包括最速下降法）来求解多元函数
最新发布
10-04
hooks are installed and other tools are available The shell uses Zsh by default Tips To manually run checks on all files: For further information here's Microsoft tutorial about devcontainers.
李宏毅机器学习 之 梯度下降（三）
Arbicoral的博客
05-21 306
目录 一、误差从哪里来？如何改善模型 1、减少误差error 1）方差bias 2）偏差variance 2、模型的选择 1）交叉验证 2）K-折交叉验证 二、梯度下降 Gradient descent 1、什么是梯度下降？ 2、使用梯度下降的局限性 3、Tips 1）调整学习率 2）随机梯度下降 Stochastic Gradient Descent 3）特征缩放 Feature scaling 一、误差从哪里来？如何改善模型 训练中的误差主要来自 bias 和 vari.
梯度下降法之方向导数，梯度的理解
weixin_38410551的博客
04-15 1447
https://blog.youkuaiyun.com/qq_40707407/article/details/80101501
SVM的核函数
TYtrack的博客
05-09 1342
支持向量机是建立在统计学习理论基础之上的新一代机器学习算法，支持向量机的优势主要体现在解决线性不可分问题，它通过引入核函数，巧妙地解决了在高维空间中的内积运算，从而很好地解决了非线性分类问题。 构造出一个具有良好性能的SVM，核函数的选择是关键．核函数的选择包括两部分工作：一是核函数类型的选择，二是确定核函数类型后相关参数的选择．因此如何根据具体的数据选择恰当的核函数是SVM应用领域遇到的一个重...
df节省内存函数
TYtrack的博客
12-24 709
通过改变每一条数据的数据类型来节省内存 结果： -- Mem. usage decreased to 5.56 Mb (50.0% reduction),time spend:0.00 min -- Mem. usage decreased to 174.98 Mb (74.9% reduction),time spend:1.30 min 可以看出，优化还是挺棒的 代码： import pandas as pd import numpy as np import time # 节约内存..
判别式模型和生成式模型
TYtrack的博客
05-09 425
# 判别式模型与生成式模型 生成式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念，它们的区别在于：（对于输入x，类别标签y） 1. 生成式模型估计它们的联合概率分布P(x,y) 2. 判别式模型估计决策函数F(X)或条件概率分布P(y|x) 3. 生成式式模型可以根据贝叶斯公式得到判别式模型，但反过来不行 ## 生成式模型 1....
new optimization
TYtrack的博客
12-06 306
new optimizer for deep learning 1、SGD 2、SGD with momentum 前一步的累积会移动到下一步当中，就算达到鞍点和局部最低点，带有动量的SGD还是会继续前行，下一步的movement等于： -u*梯度+v*动量 3、Adagrad 即在梯度方向乘了一个数，如果过去的梯度很大，就要降低学习率，因为梯度很大，说明在一个很崎岖的路上寻找全局最低，比如上面图的绿色方向，梯度比较大，所以需要用一个比较小的学习率 4、RMSProp 原理和Adagr
bias + variance
TYtrack的博客
11-23 231
Bias：偏差 Variance：方差 Loss=bias+variance 模型越复杂，方差越大，偏差越小 模型越简单，方差越小，偏差越大 怎么判断是过拟合还是欠拟合？是方差大还是偏差大？ 假如在训练集上拟合的不好就是欠拟合（偏差大） 假如在训练集上表现不错，但是在测试集表现不咋样，那就是过拟合（方差大） 假如是欠拟合，可以选择增加一些特征或者选择更复杂的模型 假如是过拟合，可以选择 使用更多的数据（数据增强），regularization，剪枝等等 所以需要平衡这两个误差..
机器学习博客
TYtrack的博客
04-30 208
1、逻辑回归 2、多元线性回归 3、凸优化，Hessian，牛顿法 4、正则化 5、生成学习算法 6、SVM 7、梯度下降 1、RNN、原理解释 2、softmax 3、深度学习的经验 ...
【机器学习笔记】
TYtrack的博客
04-29 185
1.2基本术语 假设：学得模型对应了关于数据的某种潜在的规律 真相（ground-truth）：数据的潜在规律 假设空间：所有假设构成的集合 归纳偏好(简称"偏好")：机器学习算法在学习过程中对某种类型假设的偏好。任何一个有效的机器学习算法必须有其归纳偏好 奥卡姆剃刀：若有多个假设与观察一致，则选最简单的那个 第2章 2.1经验误差和过拟合 训练误差（training error）...
``` # 下面给出伪代码提示： # 输入: 训练数据 (X, y), 学习率 η, 最大迭代次数 epochs, 允许误差 tolerance # 1. 初始化参数: # - w (n 维向量) 初始化为零或小的随机值 # - 记录损失值 loss_history = [] # 2. 进行循环更新参数 (最多 epochs 轮): # a. 计算预测值: # - 𝑧 = X ⋅ w # - 𝑦̂ = sigmoid(𝑧) # 逻辑回归中的概率预测 # b. 计算梯度: # - gradient = (1/m) * X^T ⋅ (𝑦̂ - y) # 使用矩阵形式计算或许会方便一些 # c. 更新参数: # - w = w - η * gradient # 梯度下降更新 # d. 计算损失: # - loss = -平均值(y * log(𝑦̂) + (1 - y) * log(1 - 𝑦̂)) #交叉熵损失函数，也即负的平均对数似然函数 # - 记录 loss_history.append(loss) # e. 判断是否收敛: # - 如果 ‖gradient‖ < tolerance, 停止迭代 # 3. 返回最终的参数 w 和 loss_history (损失值下降趋势) # Tips: 可能用到的函数 # np.dot() - 计算两个数组的点积（内积） # 1. 如果是 1D 数组，np.dot(a, b) 计算向量点积（内积） # 例如： np.dot([1, 2, 3], [4, 5, 6]) -> 1*4 + 2*5 + 3*6 = 32 # 2. 如果是 2D 矩阵，np.dot(A, B) 计算矩阵乘法 # 例如： # A = [[1, 2], B = [[5, 6], np.dot(A, B) = # [3, 4]] [7, 8]] [[1*5 + 2*7, 1*6 + 2*8], # [3*5 + 4*7, 3*6 + 4*8 ```能不能根据这些伪代码编写一段程序用来使用梯度下降估计模型参数
03-23
<< 下面是基于您提供的伪代码编写的 Python 实现，利用 NumPy 库完成逻辑回归的梯度下降优化过程。此程序能够从训练数据中估计模型参数 \(w\) 并记录损失值的变化情况。 --- ### **完整实现** ```python import numpy as np def sigmoid(z): """Sigmoid 函数""" return 1 / (1 + np.exp(-z)) def logistic_regression_gradient_descent(X, y, learning_rate=0.01, max_epochs=1000, tolerance=1e-6): """ 使用梯度下降法进行逻辑回归参数估计 参数: X: 特征矩阵 (m x n)，形状为 [样本数量, 特征维度] y: 标签向量 (m,)，形状为 [样本数量, ] learning_rate: 学习率，默认为 0.01 max_epochs: 最大迭代次数，默认为 1000 tolerance: 收敛条件阈值，默认为 1e-6 返回: w: 最优权重向量 (n+1,) loss_history: 损失值变化历史记录 """ m, n = X.shape # 获取样本数量和特征维度 X = np.hstack((np.ones((m, 1)), X)) # 添加偏置项 (bias term) w = np.zeros(n + 1) # 初始化参数向量 w loss_history = [] # 记录每轮的损失值 for epoch in range(max_epochs): # 循环至最大迭代次数 z = np.dot(X, w) # 预测线性组合结果 y_pred = sigmoid(z) # Sigmoid 输出预测概率 # 计算梯度 gradient = (1/m) * np.dot(X.T, (y_pred - y)) # 更新参数 w -= learning_rate * gradient # 计算当前损失 (交叉熵损失) epsilon = 1e-15 # 防止 log(0) 错误 loss = -(1/m) * np.sum(y * np.log(y_pred.clip(min=epsilon)) + (1-y) * np.log((1-y_pred).clip(min=epsilon))) loss_history.append(loss) # 判断是否收敛 if np.linalg.norm(gradient) < tolerance: print(f"提前终止于第 {epoch} 轮") break return w, loss_history # 测试案例 if __name__ == "__main__": from sklearn.datasets import make_classification from matplotlib import pyplot as plt # 构造模拟二分类数据集 X, y = make_classification(n_samples=100, n_features=2, random_state=42) y = y.astype(np.float64) # 确保标签类型正确 # 执行梯度下降 weights, losses = logistic_regression_gradient_descent(X, y, learning_rate=0.1, max_epochs=1000) # 结果展示 print("最终权重:", weights) plt.plot(range(len(losses)), losses) plt.title(&#39;Loss Curve&#39;) plt.xlabel(&#39;Epochs&#39;) plt.ylabel(&#39;Loss&#39;) plt.show() ``` --- ### **关键点解析** 1. **初始化与添加偏置项** 将输入特征矩阵 \(X\) 增加了一列全为 \(1\) 的偏置项 (\(\mathbf{1}\))，使得我们可以统一处理截距 \(b\) 和系数 \(\mathbf{w}\)。 2. **Sigmoid 函数** 它将任意实数值映射到范围 \([0, 1]\)，适合作为概率输出。 3. **梯度公式推导** 对数似然函数关于参数 \(w\) 的偏导数得出了我们使用的梯度表达式： \[ \frac{\partial L}{\partial w_j} = \frac{1}{m} \sum_{i=1}^{m}(h_w(x_i)-y_i)x_{ij} \] 4. **损失计算注意事项** 我们在求解负对数似然时加入了极小正则化因子 `\epsilon` 来避免取对数运算过程中出现零的情况。 5. **停止准则** 当梯度范数小于指定容忍限度，则认为已达到最优近似位置并结束循环；否则到达设定的最大周期上限才强制退出。 --- ### **运行效果描述** 执行后会打印找到的最佳权重并且画出随着迭代次数增加对应的损耗曲线图供观察学习效率高低程度如何影响整体性能表现状态等等信息反馈机制设计合理与否至关重要！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值