torch.optim.SGD参数详解（除nesterov）

已于 2022-04-28 22:15:40 修改
阅读量3.1w 收藏 181
点赞数 51
分类专栏： 【Pytorch学习】 文章标签： 机器学习 深度学习 pytorch
于 2022-01-22 22:31:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_46221946/article/details/122644487
版权
本文详细解析了torch.optim.SGD优化器的工作原理，包括批量梯度下降、学习率、权重衰退（L2正则化）的概念。解释了在损失函数中加入L2正则化项如何影响权重更新，并探讨了动量（momentum）在SGD中的作用，以增强更新的稳定性和避免局部最优。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

torch.optim.SGD

torch.optim.SGD(params, lr=<required parameter>, momentum=0, dampening=0, weight_decay=0, nesterov=False)：随机梯度下降

  • 【我的理解】虽然叫做“随机梯度下降”，但是本质上还是还是实现的批量梯度下降，即用全部样本梯度的均值更新可学习参数。

    这里所说的全部样本可以是全部数据集，也可以是一个batch，为什么这么说？因为计算梯度是调用backward函数计算的，而backward函数又是通过损失值张量调用的，损失值的计算和样本集的选取息息相关。如果每次都使用全部样本计算损失值，那么很显然调用SGD时也就是用全部的样本梯度的均值去更新可学习参数，如果每次使用一个batch的样本计算损失值，再调用backward，那么调用SGD时就会用这个batch的梯度均值更新可学习参数。

  • params：要训练的参数，一般我们传入的都是model.parameters()。

  • lr：learning_rate学习率，会梯度下降的应该都知道学习率吧，也就是步长。

  • weight_decay（权

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【无标题】torch.optim.SGD参数详解
蜗牛在奔跑的博客
05-01 2909
在训练过程中，我们使用optimizer.zero_grad()将梯度设置为0，然后使用model(inputs)得到模型输出，用损失函数计算输出和目标之间的误差，再用误差对模型参数进行反向传播，最后使用optimizer.step()更新参数。torch.optim.SGD是PyTorch中实现的Stochastic Gradient Descent(SGD)优化器，用于更新神经网络中的参数，以最小化损失函数，从而提高模型的精度。- lr：学习率（learning rate），控制每次参数更新的步长。
sgd 参数 详解_关于torch.optim的灵活使用详解(包括重写SGD,加上L1正则)
weixin_39797393的博客
01-30 4278
torch.optim的灵活使用详解1. 基本用法：要构建一个优化器Optimizer，必须给它一个包含参数的迭代器来优化，然后，我们可以指定特定的优化选项，例如学习速率，重量衰减值等。注：如果要把model放在GPU中，需要在构建一个Optimizer之前就执行model.cuda()，确保优化器里面的参数也是在GPU中。例子：optimizer = optim.SGD(model.parame...
torch.optim.SGD参数学习率lr、动量momentum、权重衰减weight_decay的解析
热门推荐
jjw_zyfx的博客
09-22 2万+
torch.optim.SGD(net.parameters(), lr=lr, momentum=0.9,weight_decay=wd) 第一个参数包括权重w，和偏置b等是神经网络中的参数，也是SGD优化的重点 第二个参数lr是学习率 第三个参数momentum是冲量 第四个参数weight_decay是权重衰减 另外可点击参考此链接 ...
【yolov8优化器设置】
最新发布
aixiao_xiaoo的博客
04-28 1047
在图像分类任务中使用迁移学习时，冻结主干网络（Backbone）并只训练分类头（Classification Head）是一种常见的策略。这种策略可以快速调整模型以适应新的数据集，同时利用预训练模型在大规模数据集上学习到的特征。以下是一些关于学习率和优化器配置的建议，以帮助你训练出效果更好的模型。
torch.optim.sgd参数详解
weixin_42599908的博客
02-18 810
SGD(随机梯度下降)是一种更新参数的机制，其根据损失函数关于模型参数的梯度信息来更新参数，可以用来训练神经网络。torch.optim.sgd的参数有：lr(学习率)、momentum(动量)、weight_decay(权重衰减)、nesterov(是否使用Nesterov动量)等。 ...
python torch.optim.SGD
Fighting Hua
04-21 5967
[torch]optim.sgd学习参数 torch入门笔记14:Torch中optim的sgd(Stochastic gradient descent)方法的实现细节 pytorch中使用torch.optim优化神经网络以及优化器的选择 神经网络优化器，主要是为了优化我们的...
PyTorch优化算法：torch.optim.SGD的参数详解和应用
weixin_51659315的博客
01-19 1万+
torch.optim.SGD 是 PyTorch 中用于实现随机梯度下降（Stochastic Gradient Descent，SGD）优化算法的类。示例中，创建了一个线性模型，使用均方误差损失，并使用 torch.optim.SGD 作为优化器。它是一个正数，控制每次参数更新的步长。（默认值为 0）: 动量（momentum）是一个用于加速 SGD 收敛的参数。（默认值为 0）: 阻尼项，用于减缓动量的速度。（必须参数）: 这是一个包含了需要优化的参数（张量）的迭代器，例如模型的参数。
关于torch.optim的灵活使用详解(包括重写SGD,加上L1正则)
09-17
### torch.optim 的灵活使用详解 #### 一、torch.optim 基础介绍 在深度学习领域，优化器扮演着至关重要的角色。PyTorch 提供了一个强大的 `torch.optim` 模块，它包含了多种优化算法，如随机梯度下降(SGD)、Adam...
torch.optim.SGD参数详解
10-17
torch.optim.SGD是PyTorch中的一个优化器，用于优化神经网络的参数。它的参数如下： class torch.optim.SGD(params, lr=, momentum=0, dampening=0, weight_decay=0, nesterov=False) - params：需要优化的参数，...
torch.optim.SGD
A2000613的博客
01-12 3304
torch.optim.SGD
torch.optim.SGD()
echo_gou的博客
08-09 1万+
其中的SGD就是optim中的一个算法：随机梯度下降算法 torch.optim是一个实现了各种优化算法的库。大部分常用的方法得到支持，并且接口具备足够的通用性，使得未来能够集成更加复杂的方法。 为了使用torch.optim，你需要构建一个optimizer对象。这个对象能够保持当前参数状态并基于计算得到的梯度进行参数更新。 动手学深度学习-多层感知机中：updater = torch.optim.SGD(params, lr=lr)。其中的updater就是一个optimizer对象。 .
【PyTorch】torch.optim.SGD 类：随机梯度下降（SGD）优化器
彬彬侠的博客
01-17 1325
torch.optim.SGD 是 PyTorch 中实现的 随机梯度下降（SGD）优化器，用于更新模型参数。它是最基础也是最常见的优化算法之一。SGD 在训练神经网络时通过最小化损失函数来调整网络权重。SGD 是一个基于批量的优化方法，每次更新只基于一个样本（或者一个小批量）。相比于 批量梯度下降（使用所有样本计算梯度），SGD 每次只计算一个样本的梯度，因而可以节省计算资源，尤其是在数据集较大的时候。
Pytorch学习笔记--常用函数torch.optim.SGD()总结3
牵一只蜗牛去散步
11-22 3587
不同的初始化参数往往会导致不同的结果，当获得较好结果时我们通常希望这个结果是可以复现的。在pytorch中，通过设置随机数种子确保每次代码运行时初始化操作都相同，从而在相同的算法或神经网络程序中，确保运行的结果也相同。2--torch.manual_seed()函数和torch.cuda.manual_seed()函数。设置种子，确保每次实验生成的随机数固定，即初始化相同；J(θ)表示损失函数；了解L2正则化的作用，即如何避免过拟合，权重衰减通过。m表示冲量因子，l表示学习率；​​​​​​​理解。
PyTorch torch.optim.SGD参数详解
weixin_52447486的博客
11-21 1250
PyTorch torch.optim.SGD参数详解
torch.optim.SGD优化器
m0_65590944的博客
07-29 1200
在PyTorch中，torch.optim.SGD是一个非常流行的优化器，它实现了随机梯度下降算法。SGD优化器被广泛用于深度学习模型的训练过程，用于更新网络中的权重和偏置。
pytorch optim.SGD
Claroja
08-23 1984
1.应用 import torch import torch.nn as nn optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.9) optimizer.zero_grad() loss_fn(model(input), target).backward() optimizer.step() 概念 最简单的更新规则是Stochastic Gradient Descent (SGD)： weight = weight -
深度学习之深入理解梯度下降代码块torch.optim.SGD()
神马都会亿点点的毛毛张
01-29 1304
用简单的例子去跑代码，多调整一些不同的参数。然后对比笔算结果和代码结果是否一致。这种方法既可以加深对深度学习基础知识的理解，也可以更快入门pytorch代码。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不牌不改

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值