pytorch学习笔记-梯度下降算法

Pytorch梯度下降与随机梯度下降解析
最新推荐文章于 2025-12-03 21:41:09 发布
原创 最新推荐文章于 2025-12-03 21:41:09 发布 · 477 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #学习 #笔记

梯度下降

为什么需要梯度下降

线性模型 y = w * x 时，我们可以暴力枚举w，但是当维度变多时，暴力就行不通了
所以我们考虑使用分治来解决问题
假设现在有两个维度
在这里插入图片描述
我们随机取四个区域，计算出每个区域中最好的结果，再在选中的结果区域中再取四个区域… 以此类推，最后能找到一组参数
这种做法的问题：
在这里插入图片描述
我们无法保证一定能取到最小值，所以有可能永远拿不到真正最好的参数
在这里插入图片描述
我们把找到模型最优的一组参数的过程就叫优化
在这里插入图片描述
cost函数也就是loss求和
梯度下降是贪心的思维
在这里插入图片描述

贪心算法的特征就是不一定能得到全局最好的结果，梯度下降也是同理，我们可能拿到的是局部最优，而不是全局最优

为
最低0.47元/天 解锁文章
几个晨
关注
pytorch学习笔记-反向传播算法
chena_1的博客
01-19 1328
针对这个神经元，我们首先的操作是前馈运算（forward），前馈运算就是先沿着图中的箭头方向，由输入向最终的loss计算，先计算最终的loss。于是我们希望设计一个算法，它可以把我们的网络看作是一个图，我们在图上来传播我们的梯度，最终根据链式法则把梯度求出来，这样的算法就叫做。为了解决这个问题，我们需要提高模型的复杂度，换句话说不能进行化简，因为如果可以化简，说明我们设计的多层就没有意义，和一层是一样的。由于反向传播，我们已经知道了l对z的导数，又因为f函数是已知的，所以我们也知道f（x）对x和w的导数，
Pytorch ---- 梯度下降 学习笔记~~~~~
深度不学习！！的博客
10-22 804
假设所取点为图中红心点。要找到下降的一侧。则求红心点出的导数。按导数定义走。 导数大于0，则X往靠近原点的方向走， 导数小于0，则X往靠近无穷大的方向走。 所以找到负导数的方向。即为下降的方向。 所以在梯度下降算法中，更新权重的方法: a为学习率 （即为往前走多少） ...
【深度学习】PyTorch深度学习笔记03-梯度下降算法
weixin_52553215的博客
07-11 1255
由上节课的结果可以得出，假设一个参数 w 搜索100个结果，那么两个参数 w1，w2 的搜索空间就变成100的平方了，10个参数就变成100的十次方了。因此穷举法，找到最优点，很不合理。
Pytorch学习笔记04----梯度下降算法
AI Chen的博客
03-30 2655
  本文主要对梯度下降算法的基本原理进行了讲解，然后使用手写梯度下降算法解决了线性回归问题。最后对 PyTorch 中的反向传播函数进行了讲解并利用该函数简明快速的完成了损失的求导与模型的训练。 梯度下降算法一、人工梯度下降算法1.线性回归问题2.梯度下降算法3.人工实现梯度下降算法二、利用 PyTorch 实现梯度下降算法 一、人工梯度下降算法   我们使用梯度下降算法来对线性回归问题进行求解。 1.线性回归问题   现行回归问题其实就是寻找一条合适的直线(y=ωxy=\omega xy=ωx)用以表示所
Pytorch学习笔记——梯度下降算法
m0_57126939的博客
02-14 910
随机梯度下降算法的Python代码实现。 与梯度下降算法不同的是随机梯度下降算法，随机梯度下降算法(SGD,Stochastic Gradient Descent)是从样本中每轮随机选一个。 这样做的好处是： 若在鞍点时，在梯度下降算法中，使用的是所有样本（可能带有噪声的）计算为0，必不可能向前推动。 而使用蛋哥样本计算出来，不一定是每一个都会计算为0，有随机噪声会更好的推进向前。也就是如果取所有样本的话 ，是连续的；而随机取的话很大可能就会跳过鞍点。 ...
Pytorch学习笔记：梯度下降算法
Java小白的博客
08-29 307
分治方法：先分成n×n个点进行搜索，选择最低的点，对最低的点再分成n×n份再次进行搜索，选择最小的值，反复如此，找到最小值。但是这对于凸函数是较为有用的，对于不规则的函数，可能搜索到的是极小值点（局部最优点），而不是最小值点（全局最优点）。 Gradient Descent Algorithm : 梯度下降算法（贪心思想，局部最优） Gradient : 梯度，梯度大于0上升，梯度小于0下降，所以参数向梯度的反方向更新。 w = w − x g ′ ( w ) x：学习率 损失函数的局部最优点比较少，.
PyTorch深度学习——梯度下降算法、随机梯度下降算法及实例（B站刘二大人P3学习笔记）
Learning_AI的博客
10-05 1889
梯度下降算法
【Pytorch学习笔记】003--梯度下降算法
weixin_52143654的博客
01-02 211
梯度下降算法/随机梯度下降算法/批量梯度下降算法
PyTorch学习笔记--Chapter01基本概念
weixin_41171614的博客
05-06 893
PyTorch学习笔记--Chapter01基本概念
pytorch-code-training:pytorch学习笔记
04-07
《PyTorch学习笔记——深度探索与实践》 PyTorch是Facebook的AI研究团队推出的一个开源深度学习框架，以其易用性、灵活性和高效性受到了广大开发者和研究人员的青睐。本篇笔记将深入探讨PyTorch的核心概念、基本...
PyTorch学习笔记-1.PyTorch基础概念
ruoqi23的博客
08-02 1090
1.PyTorch基础概念 1.1.PyTorch简介与安装 1.1.1.PyTorch简介 2017年1月，FAIR（Facebook AI Research）发布PyTorch PyTorch是在Torch基础上用python语言重新打造的一款深度学习框架 Torch是采用Lua语言为接口的机器学习框架，但因Lua语言较为小众，导致Torch知名度不高 PyTorch发展 • 2017年1月正式发布PyTorch • 2018年4月更新0.4.0版，支持W indows系统，ca..
PyTorch的Dataloader模块解析
工地搬砖第一年的博客
12-01 450
过采样少数类，保持类别平衡# 每个少数类样本采样2次。
云主机GPU pyTorch部署
宝安小雨
12-02 178
直接装最新稳定版（当前是 2.5.0，支持 CUDA 11.8 和 12.1，T4 完美支持）这样安装的三个都是GPU版本。
深度学习实战（基于pytroch）系列（四十三）深度循环神经网络pytorch实现
echo的博客
11-30 1140
本文介绍了深度循环神经网络(Deep RNN)的PyTorch实现。深度RNN包含多个隐藏层，每个隐藏状态同时在时间维度(下一时间步)和深度维度(下一层)传递。文章详细阐述了数学定义，包括各层隐藏状态的计算公式和输出层计算。同时提供了PyTorch实现代码，支持RNN、GRU和LSTM三种结构，包含初始化隐藏状态的方法。实现中考虑了超参数调节、门控机制扩展和初始化策略等关键因素，为构建更强大的序列模型提供了基础框架。
深度学习实战（基于pytroch）系列（四十一）长短期记忆（LSTM）pytorch简洁实现
echo的博客
11-29 1083
本文介绍了使用PyTorch简洁实现长短期记忆网络(LSTM)语言模型的方法。首先读取周杰伦歌词数据集并进行预处理，然后定义包含LSTM层和全连接层的RNN模型类，其中LSTM需要同时处理隐藏状态和细胞状态。文章详细展示了模型初始化、预测函数实现以及训练过程，包括梯度裁剪和数据迭代器设计。通过对比手动实现，突出了PyTorch框架在简化LSTM实现方面的优势，为自然语言处理任务提供了高效的解决方案。
深度学习实战（基于pytroch）系列（四十二）双向循环神经网络pytorch实现
echo的博客
11-29 784
本文介绍了双向循环神经网络(BiRNN)的PyTorch实现。BiRNN通过同时处理正向和反向序列信息，能够更好地捕捉上下文特征。文章详细阐述了BiRNN的数学定义和架构，包括正向/反向隐藏状态的计算方法以及输出层的拼接处理。提供了两种PyTorch实现方案：自定义实现和使用内置RNN模块的简化实现，并通过测试代码验证了模型输出的正确性。BiRNN特别适合需要全局上下文理解的任务，如机器翻译和语音识别等，能有效提升序列数据的建模能力。
深度学习助力图像增强：多算法与PyTorch复现
2508_94252591的博客
11-29 921
深度学习图像低光照增强算法低照度增强3DLUT,DeepUPT,DeepLPF,RetinexNet,Zero-DCE,EnlightenGAN,RetinexFormer等图像调色增强算法HDRNet,StarEnhancer,CSRNet等水下增强算法UWGAN,UIEGAN等pytorch架构复现，有代码和benchmark数据集在图像处理领域，针对不同场景和需求，有着各种各样的深度学习算法。
基于Python深度学习的车辆车牌识别系统（PyTorch2卷积神经网络CNN+OpenCV4实现）视频教程 - 集成到web系统-识别历史记录实现
java1234的博客
11-30 269
基于Python深度学习的车辆车牌识别系统（PyTorch2卷积神经网络CNN+OpenCV4实现）视频教程 - 集成到web系统-识别历史记录实现
PyTorch nn.L1Loss 完全指南：MAE 原理、梯度计算与不可导点处理详解
最新发布
qq_62634342的博客
12-03 369
nn.L1Loss是PyTorch中实现平均绝对误差(MAE)的损失函数，主要用于回归任务。它计算预测值与真实值之间的L1范数误差，数学定义为逐元素绝对差。输入要求预测值和真实值具有相同形状和数据类型，且不限制取值范围。L1Loss支持三种reduction方式：'none'返回逐元素损失，'sum'返回总和，'mean'(默认)返回平均值。在梯度计算方面，PyTorch使用sign函数处理不可导点，将误差为0时的梯度定义为0，这是合理的次梯度选择。当reduction='mean'时，梯度会除以样本数N。
pytorch学习梯度下降
10-15
有一些资料有助于学习使用PyTorch实现梯度下降。“每天五分钟玩转深度学习框架PyTorch：梯度下降之学习率衰减”提及了在梯度下降中学习率衰减的相关内容，当训练集的loss下降到一定程度后，可进行学习率的衰减，还介绍了Pytorch中学习率调整的两种方法，能帮助学习者理解如何在梯度下降过程中优化学习率问题[^1]。 “Pytorch --梯度下降算法”详细阐述了梯度下降算法的优点，该算法相比于大规模数值矩阵求解效率更高，适用于多种类型函数，能结合不同优化器等技巧提高性能，在大规模数据集和复杂模型下表现良好，这些知识有助于学习者全面认识梯度下降算法在PyTorch中的应用优势[^2]。 “【Pytorch】梯度下降算法”对梯度下降算法进行了系统介绍，包括梯度概念、梯度下降与梯度上升、算法详解、具象解释、相关概念、算法缺点以及具体应用（如拟合直线和MNIST数据集训练），为学习者提供了从理论到实践的学习路径[^3]。 “PyTorch深度学习——梯度下降算法”展示了经过100次迭代后权重更新及预测值的变化情况，还提到使用加权均值后的cost_function更加平滑，能让学习者直观感受梯度下降在实际迭代中的效果[^4]。 “【深度学习】PyTorch深度学习笔记03 - 梯度下降算法”对比了随机梯度下降、梯度下降和mini - batch批量的随机梯度下降的特点，说明不同梯度下降方式的优缺点，帮助学习者根据实际情况选择合适的梯度下降方法[^5]。 ```python import torch # 示例：一个简单的梯度下降实现 # 定义一个简单的线性模型 x = torch.tensor([1.0], requires_grad=False) y = torch.tensor([2.0], requires_grad=False) w = torch.tensor([0.1], requires_grad=True) # 定义学习率和迭代次数 learning_rate = 0.01 epochs = 100 for epoch in range(epochs): # 前向传播 y_pred = w * x loss = (y_pred - y) ** 2 # 反向传播 loss.backward() # 更新权重 with torch.no_grad(): w -= learning_rate * w.grad w.grad.zero_() print(f"最终权重: {w.item()}") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值