pytorch学习笔记-梯度下降算法

最新推荐文章于 2025-12-03 21:41:09 发布
原创 最新推荐文章于 2025-12-03 21:41:09 发布 · 477 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #学习 #笔记

梯度下降

为什么需要梯度下降

线性模型 y = w * x 时，我们可以暴力枚举w，但是当维度变多时，暴力就行不通了
所以我们考虑使用分治来解决问题
假设现在有两个维度
在这里插入图片描述
我们随机取四个区域，计算出每个区域中最好的结果，再在选中的结果区域中再取四个区域… 以此类推，最后能找到一组参数
这种做法的问题：
在这里插入图片描述
我们无法保证一定能取到最小值，所以有可能永远拿不到真正最好的参数
在这里插入图片描述
我们把找到模型最优的一组参数的过程就叫优化
在这里插入图片描述
cost函数也就是loss求和
梯度下降是贪心的思维
在这里插入图片描述

贪心算法的特征就是不一定能得到全局最好的结果，梯度下降也是同理，我们可能拿到的是局部最优，而不是全局最优

为
最低0.47元/天 解锁文章
几个晨
关注
pytorch学习笔记-反向传播算法
chena_1的博客
01-19 1328
针对这个神经元，我们首先的操作是前馈运算（forward），前馈运算就是先沿着图中的箭头方向，由输入向最终的loss计算，先计算最终的loss。于是我们希望设计一个算法，它可以把我们的网络看作是一个图，我们在图上来传播我们的梯度，最终根据链式法则把梯度求出来，这样的算法就叫做。为了解决这个问题，我们需要提高模型的复杂度，换句话说不能进行化简，因为如果可以化简，说明我们设计的多层就没有意义，和一层是一样的。由于反向传播，我们已经知道了l对z的导数，又因为f函数是已知的，所以我们也知道f（x）对x和w的导数，
Pytorch ---- 梯度下降 学习笔记~~~~~
深度不学习！！的博客
10-22 804
假设所取点为图中红心点。要找到下降的一侧。则求红心点出的导数。按导数定义走。 导数大于0，则X往靠近原点的方向走， 导数小于0，则X往靠近无穷大的方向走。 所以找到负导数的方向。即为下降的方向。 所以在梯度下降算法中，更新权重的方法: a为学习率 （即为往前走多少） ...
【深度学习】PyTorch深度学习笔记03-梯度下降算法
weixin_52553215的博客
07-11 1255
由上节课的结果可以得出，假设一个参数 w 搜索100个结果，那么两个参数 w1，w2 的搜索空间就变成100的平方了，10个参数就变成100的十次方了。因此穷举法，找到最优点，很不合理。
Pytorch学习笔记04----梯度下降算法
AI Chen的博客
03-30 2655
  本文主要对梯度下降算法的基本原理进行了讲解，然后使用手写梯度下降算法解决了线性回归问题。最后对 PyTorch 中的反向传播函数进行了讲解并利用该函数简明快速的完成了损失的求导与模型的训练。 梯度下降算法一、人工梯度下降算法1.线性回归问题2.梯度下降算法3.人工实现梯度下降算法二、利用 PyTorch 实现梯度下降算法 一、人工梯度下降算法   我们使用梯度下降算法来对线性回归问题进行求解。 1.线性回归问题   现行回归问题其实就是寻找一条合适的直线(y=ωxy=\omega xy=ωx)用以表示所
Pytorch学习笔记——梯度下降算法
m0_57126939的博客
02-14 910
随机梯度下降算法的Python代码实现。 与梯度下降算法不同的是随机梯度下降算法，随机梯度下降算法(SGD,Stochastic Gradient Descent)是从样本中每轮随机选一个。 这样做的好处是： 若在鞍点时，在梯度下降算法中，使用的是所有样本（可能带有噪声的）计算为0，必不可能向前推动。 而使用蛋哥样本计算出来，不一定是每一个都会计算为0，有随机噪声会更好的推进向前。也就是如果取所有样本的话 ，是连续的；而随机取的话很大可能就会跳过鞍点。 ...
Pytorch学习笔记：梯度下降算法
Java小白的博客
08-29 307
分治方法：先分成n×n个点进行搜索，选择最低的点，对最低的点再分成n×n份再次进行搜索，选择最小的值，反复如此，找到最小值。但是这对于凸函数是较为有用的，对于不规则的函数，可能搜索到的是极小值点（局部最优点），而不是最小值点（全局最优点）。 Gradient Descent Algorithm : 梯度下降算法（贪心思想，局部最优） Gradient : 梯度，梯度大于0上升，梯度小于0下降，所以参数向梯度的反方向更新。 w = w − x g ′ ( w ) x：学习率 损失函数的局部最优点比较少，.
PyTorch深度学习——梯度下降算法、随机梯度下降算法及实例（B站刘二大人P3学习笔记）
Learning_AI的博客
10-05 1889
梯度下降算法
【Pytorch学习笔记】003--梯度下降算法
weixin_52143654的博客
01-02 211
梯度下降算法/随机梯度下降算法/批量梯度下降算法
PyTorch学习笔记--Chapter01基本概念
weixin_41171614的博客
05-06 893
PyTorch学习笔记--Chapter01基本概念
精选资源
pytorch-code-training:pytorch学习笔记
04-07
《PyTorch学习笔记——深度探索与实践》 PyTorch是Facebook的AI研究团队推出的一个开源深度学习框架，以其易用性、灵活性和高效性受到了广大开发者和研究人员的青睐。本篇笔记将深入探讨PyTorch的核心概念、基本...
PyTorch学习笔记-1.PyTorch基础概念
ruoqi23的博客
08-02 1090
1.PyTorch基础概念 1.1.PyTorch简介与安装 1.1.1.PyTorch简介 2017年1月，FAIR（Facebook AI Research）发布PyTorch PyTorch是在Torch基础上用python语言重新打造的一款深度学习框架 Torch是采用Lua语言为接口的机器学习框架，但因Lua语言较为小众，导致Torch知名度不高 PyTorch发展 • 2017年1月正式发布PyTorch • 2018年4月更新0.4.0版，支持W indows系统，ca..
PyTorch的Dataloader模块解析
工地搬砖第一年的博客
12-01 449
过采样少数类，保持类别平衡# 每个少数类样本采样2次。
【ML|DL |python|pytorch|】基础学习
十二_的博客
12-03 461
本文介绍了Anaconda环境配置与PyTorch基础操作。主要内容包括：1）使用conda检查和管理Python、PyTorch等环境；2）创建/删除conda环境的技巧；3）PyTorch张量(tensor)的基本创建方法(ones_like, rand等)和属性(dtype, shape等)；4）关键张量操作函数(is_tensor, numel, cat等)的用法，重点讲解了torch.cat()在不同维度拼接三维张量的原理和效果。文章通过代码示例和形象比喻(如"千层饼"、&qu
云主机GPU pyTorch部署
宝安小雨
12-02 176
直接装最新稳定版（当前是 2.5.0，支持 CUDA 11.8 和 12.1，T4 完美支持）这样安装的三个都是GPU版本。
深度学习实战（基于pytroch）系列（四十三）深度循环神经网络pytorch实现
echo的博客
11-30 1134
本文介绍了深度循环神经网络(Deep RNN)的PyTorch实现。深度RNN包含多个隐藏层，每个隐藏状态同时在时间维度(下一时间步)和深度维度(下一层)传递。文章详细阐述了数学定义，包括各层隐藏状态的计算公式和输出层计算。同时提供了PyTorch实现代码，支持RNN、GRU和LSTM三种结构，包含初始化隐藏状态的方法。实现中考虑了超参数调节、门控机制扩展和初始化策略等关键因素，为构建更强大的序列模型提供了基础框架。
基于Python深度学习的车辆车牌识别系统（PyTorch2卷积神经网络CNN+OpenCV4实现）视频教程 - 集成到web系统-识别历史记录实现
java1234的博客
11-30 265
基于Python深度学习的车辆车牌识别系统（PyTorch2卷积神经网络CNN+OpenCV4实现）视频教程 - 集成到web系统-识别历史记录实现
PyTorch nn.L1Loss 完全指南：MAE 原理、梯度计算与不可导点处理详解
最新发布
qq_62634342的博客
12-03 364
nn.L1Loss是PyTorch中实现平均绝对误差(MAE)的损失函数，主要用于回归任务。它计算预测值与真实值之间的L1范数误差，数学定义为逐元素绝对差。输入要求预测值和真实值具有相同形状和数据类型，且不限制取值范围。L1Loss支持三种reduction方式：'none'返回逐元素损失，'sum'返回总和，'mean'(默认)返回平均值。在梯度计算方面，PyTorch使用sign函数处理不可导点，将误差为0时的梯度定义为0，这是合理的次梯度选择。当reduction='mean'时，梯度会除以样本数N。
用PyTorch训练一个猫狗分类器
shayudiandian的博客
11-24 601
model.fc = nn.Linear(model.fc.in_features, 2) # 替换全连接层。
PyTorch 二分类损失函数详解：BCELoss vs BCEWithLogitsLoss 最佳实践指南
qq_62634342的博客
11-30 1024
本文介绍了PyTorch中二分类任务常用的两种损失函数BCELoss和BCEWithLogitsLoss。BCELoss要求输入经过Sigmoid处理的概率值(0-1之间)，而BCEWithLogitsLoss直接接收模型输出的logits值，内部自动完成Sigmoid转换，具有更好的数值稳定性。文章详细说明了两种损失函数的数学定义、输入要求、API参数和使用场景，并对比了它们的差异。特别强调真实标签必须是浮点类型(0.0或1.0)，推荐优先使用BCEWithLogitsLoss以避免数值不稳定问题。最后提
pytorch学习梯度下降
10-15
“【深度学习】PyTorch深度学习笔记03 - 梯度下降算法”对比了随机梯度下降、梯度下降和mini - batch批量的随机梯度下降的特点，说明不同梯度下降方式的优缺点，帮助学习者根据实际情况选择合适的梯度下降方法[^5]。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值