关于loss.backward()optimizer.step()optimizer.zero_grad()的顺序

最新推荐文章于 2025-09-10 12:07:57 发布

原创最新推荐文章于 2025-09-10 12:07:57 发布 · 2.7k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #python

本文解析了使用PyTorch进行模型训练的核心步骤：梯度归零(optimizer.zero_grad())、反向传播(loss.backward())及参数更新(optimizer.step())。强调了这三步操作的正确顺序及其在训练过程中的作用。

部署运行你感兴趣的模型镜像

    loss.backward()  #反向传播
    optimizer.step()  #更新参数
    optimizer.zero_grad() # 梯度归零

这三个函数的作用是
梯度归零（optimizer.zero_grad()）
，然后反向传播计算得到每个参数的梯度值（loss.backward()），
最后通过梯度下降执行一步参数更新（optimizer.step()）

关于这三个的顺序上

optimizer.zero_grad() # 梯度归零只能写在最开始或者最后面
loss.backward()要写在optimizer.step()之前。

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch

Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

fdt丶

关注关注

5
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

反向传播的顺序问题： optimizer.zero_grad()； loss.backward()；optimizer.step()

ZJQ的博客

06-18

198

- **顺序不可变**：必须按 `zero_grad()` → `backward()` → `step()` 执行。 - **核心逻辑**： 1. 清空历史梯度（确保梯度纯净）。 2. 计算当前梯度（基于当前损失）。 3. 更新参数（使用当前梯度）。调换顺序会导致梯度丢失或使用错误的梯度，使模型无法正常训练。

loss.backward()`、`optimizer.step()`和`optimizer.zero_grad()` 是什么

ZJQ的博客

07-14

220

本文介绍了PyTorch训练中的三个关键操作：loss.backward()计算梯度，optimizer.step()更新参数，optimizer.zero_grad()清空梯度。它们按顺序执行，共同完成参数优化。文中说明了每个操作的作用、原理和正确调用顺序，并指出常见错误，如梯度累积和调用顺序错误。理解这三个步骤是掌握深度学习训练的基础。

参与评论您还未登录，请先登录后发表或查看评论

optimizer.zero_grad(), loss.backward(), optimizer.step()的理解及使用

ywfwyht的博客

02-13

7498

这三个函数的作用是将梯度归零（optimizer.zero_grad()），然后反向传播计算得到每个参数的梯度值（loss.backward()），最后通过梯度下降执行一步参数更新（optimizer.step()）。简单的说就是进来一个batch的数据，先将梯度归零，计算一次梯度，更新一次网络。另外一种：将**optimizer.zero_grad()放在optimizer.step()**后面，即梯度累加。获取loss：输入图像和标签，通过infer计算得到预测值，计算损失函数；

【PyTorch代码中的optimizer.zero_grad()彻底教程：小白从零读懂，为什么要梯度清零？】

深耕CV

09-10

531

摘要：PyTorch训练中optimizer.zero_grad()是梯度清零的关键步骤，防止不同batch的梯度累加导致训练错误。本文用购物车比喻解释：不清零会导致"旧物品混入新账单"，类比梯度累加干扰模型更新。从梯度基础到代码实现，详解为什么每个batch需独立计算梯度，并提供MNIST训练示例。常见问题解答涵盖梯度累加、设备兼容性等，帮助小白避免loss不降或NaN等典型错误。通过生活化类比+完整代码演示，让零基础用户彻底掌握这一核心机制。（149字）

（0_）Pytorch之optimizer.zero_grad()

木槿qwer的博客

11-26

9710

optimizer.zero_grad() 功能梯度初始化为零，把loss关于weight的导数变成0 为什么每一轮batch都需要设置optimizer.zero_grad 根据pytorch中的backward()函数的计算，当网络参量进行反馈时，梯度是被积累的而不是被替换掉。但是在每一个batch时毫无疑问并不需要将两个batch的梯度混合起来累积，因此这里就需要每个batch设置一遍zero_grad 了每个batch必定执行的操作步骤 optimizer.zero_grad() # 梯度初始

pytorch--＞optimizer.zero_grad()、loss.backward()、optimizer.step()和scheduler.step()

qq_41043438的博客

03-26

5474

优化器optimizer的作用 优化器就是需要根据网络反向传播的梯度信息来更新网络的参数，以起到降低loss函数值的作用 # compute gradient and do SGD step optimizer.zero_grad() loss.backward() optimizer.step() 总得来说，这三个函数的作用是先将梯度归零（optimizer.zero_grad()），然后反向传播计算得到每个参数的梯度值（loss.backward()

optimizer.zero_grad(), loss.backward(), optimizer.step()的原理及作用

weixin_48018951的博客

04-27

1399

总的来说，这三步操作的作用分别是清空梯度历史信息，计算新的梯度，通过梯度下降进行参数优化。当然，上述代码的顺序也不是一定固定的，可以根据需求调整。例如可以将optimizer.zero_grad() 放在 optimizer.step() 后面，即梯度累加。每次获取1个batch的数据，计算1次梯度，梯度不清空，不断累加，累加一定次数后，根据累加的梯度更新网络参数，然后清空梯度，进行下一次循环。

【深度学习】如果在loss.backward()之前不使用optimizer.zero_grad()会发生什么事情

qq_46276946的博客

06-06

584

在使用optimizer.step()更新模型参数之前，我们需要使用optimizer.zero_grad()清除之前计算的梯度信息。这是因为PyTorch默认会累加梯度，如果不清除的话，会导致梯度信息累积，使得模型参数更新不准确。因此，我们需要在每次迭代之前手动将梯度清零，以确保每次更新的梯度都是当前样本的梯度。如果不将梯度清零会导致模型的accuracy断崖式的下降。

PyTorch中model.zero_grad()和optimizer.zero_grad()用法

09-16

以生成对抗网络（GANs）为例，判别器（Discriminator）的训练过程中，先使用 `optimizer.zero_grad()` 清零梯度，然后进行前向传播计算损失，接着调用 `loss.backward()` 计算梯度，最后使用 `optimizer.step()` ...

Pytorch网络训练流程的作用原理：源码分析optimizer.zero_grad()loss.backward()optimizer.step()

呆呆象呆呆的博客

08-25

3913

常见参数训练流程的作用原理 1 总述在用pytorch训练模型时，通常会在循环epoch的过程中，不断循环遍历所有训练数据集。依次用到optimizer.zero_grad()，loss.backward()和optimizer.step()三个函数，如下所示： model = MyModel() criterion = nn.CrossEntropyLoss() optimizer = torch.optim.SGD(model.parameters(), lr=0.001, momentum=0.9

PyTorch优化器详解：zero_grad()、loss.backward()、step() 的妙用

AI_dataloads的博客

09-21

8373

在深度学习和机器学习领域中，"optimizer"（优化器）是指一种用于优化模型参数以最小化损失函数的算法或工具。优化器的主要任务是更新模型的权重或参数，使其逐渐收敛到损失函数的最小值或局部最小值，从而提高模型的性能。优化器在训练神经网络等机器学习模型时非常重要，因为模型参数的更新通常依赖于损失函数的梯度。这三行代码通常组成了深度学习模型训练的核心循环。在整个训练过程中，它们会被重复执行多次，模型的参数会根据损失函数的梯度逐渐调整，以最小化损失并提高模型性能。

（转载笔记）loss.backward()与optimizer.step()的作用

又菜又爱玩

09-02

783

loss和optimizer

Pytorch：optimizer.zero_grad(), loss.backward(), optimizer.step()

weixin_42046845的博客

12-21

1607

在训练过程中先调用 `optimizer.zero_grad()` 清空梯度再调用 `loss.backward()` 反向传播最后调用`optimizer.step()`更新模型参数：

optimizer.zero_grad()

最新发布

09-12

### `optimizer.zero_grad()` - **作用**：将优化器中所有参数的梯度清零。在 PyTorch 中，梯度是累加的，如果不手动清零，每次调用 `backward()` 时，新计算的梯度会累加到之前的梯度上，这会导致梯度计算错误。 - **原理**：优化器维护了一个参数列表及其对应的梯度，`optimizer.zero_grad()` 会遍历这些参数，将它们的梯度张量（`grad` 属性）置为零。 - **使用场景**：在每次进行反向传播之前调用，确保每次迭代计算的梯度是独立的，适用于所有基于梯度的优化算法，如随机梯度下降（SGD）、Adam 等。示例代码： ```python import torch import torch.optim as optim from torch.nn import Parameter model = [Parameter(torch.randn(2, 2, requires_grad=True))] optimizer = optim.SGD(model, 0.1) # 在每次迭代开始前清零梯度 optimizer.zero_grad() ``` ### `cur_loss.backward()` - **作用**：执行反向传播算法，计算损失函数关于模型参数的梯度。通过链式法则，从损失函数开始，逐步计算每个参数的梯度。 - **原理**：基于自动求导机制，PyTorch 会构建一个计算图，记录所有的计算操作。当调用 `backward()` 时，它会沿着计算图反向传播，根据链式法则计算每个参数的梯度，并将梯度存储在参数的 `grad` 属性中。 - **使用场景**：在计算出损失函数之后调用，用于计算梯度，为后续的参数更新做准备。示例代码： ```python import torch import torch.nn as nn # 定义一个简单的模型和输入 x = torch.randn(10, 5) y = torch.randn(10, 1) model = nn.Linear(5, 1) criterion = nn.MSELoss() # 前向传播 output = model(x) cur_loss = criterion(output, y) # 反向传播 cur_loss.backward() ``` ### `optimizer.step()` - **作用**：根据计算得到的梯度，使用优化算法更新模型的参数。不同的优化器有不同的更新策略，如 SGD 会根据梯度和学习率直接更新参数，Adam 会结合梯度的一阶矩和二阶矩进行更新。 - **原理**：优化器根据其内部的更新规则，利用存储在参数 `grad` 属性中的梯度，对参数进行更新。例如，SGD 的更新公式为：$ \theta_{t+1} = \theta_{t} - \alpha \cdot \nabla L(\theta_{t}) $，其中 $\theta$ 是参数，$\alpha$ 是学习率，$\nabla L(\theta_{t})$ 是梯度。 - **使用场景**：在调用 `backward()` 计算出梯度之后调用，用于更新模型参数，推动模型的训练过程。示例代码： ```python import torch import torch.optim as optim from torch.nn import Parameter model = [Parameter(torch.randn(2, 2, requires_grad=True))] optimizer = optim.SGD(model, 0.1) # 假设已经计算出损失并进行了反向传播 # 这里省略了前向传播和反向传播的代码 # 更新参数 optimizer.step() ```