Pytorch反向传播——optimizer.zero_grad(), loss.backward(), optimizer.step() 作用

原创

已于 2025-03-20 10:01:01 修改 · 4.8k 阅读

CC 4.0 BY-SA版权

文章标签：

于 2023-06-27 11:39:11 首次发布

本文介绍了PyTorch中优化器optimizer的三个关键操作：zero_grad()用于清空梯度，backward()计算损失函数的梯度，以及step()根据梯度更新模型参数。这些步骤在训练神经网络时执行，以优化模型性能。

在 PyTorch 中，optimizer.zero_grad() 用于清空优化器中的梯度。通常，在进行一次反向传播计算之前，我们需要先清空优化器中的梯度。这是因为 PyTorch 默认会在反向传播时累加梯度，而不是覆盖之前的梯度，因此我们需要先清空梯度，再进行反向传播计算。

具体来说，optimizer.zero_grad() 会将优化器中所有可学习参数的梯度设为 0。这样，在下一次前向传递计算和反向传播计算时，之前的梯度就不会对当前的梯度产生影响。

loss.backward() 是 PyTorch 中用于自动求导的函数，它的主要作用是计算损失函数对模型参数的梯度，从而实现反向传播算法。

在深度学习中，我们通常使用梯度下降算法来更新模型参数，使得模型能够逐步逼近最优解。在梯度下降算法中，我们需要计算损失函数关于模型参数的梯度，以便确定参数更新的方向和大小。这个计算过程就是反向传播算法，而 loss.backward() 就是反向传播算法的实现。

具体来说，loss.backward() 的作用是对损失函数进行求导，得到每个模型参数关于损失函数的梯度。这个梯度可以表示模型参数在当前状态下对损失函数的贡献大小和方向，即参数更新的方向和大小。通过梯度下降算法，我们可以根据这个梯度调整模型参数，使得损失函数逐渐减小，模型性能逐渐提升。

需要注意的是，loss.backward() 仅计算当前批次中的梯度，并不修改模型参数。如果需要更新模型参数，还需要调用优化器的 step() 方法，根据计算得到的梯度更新模型参数。

在 PyTorch 中，optimizer.step() 是用于更新梯度的函数。当我们使用 backward() 计算网络参数的梯度后，我们需要使用 optimizer.step() 来根据梯度更新网络参数的值。

具体来说，optimizer.step() 根据优化算法的规则，将梯度应用于网络参数。例如，常用的优化算法如 Adam、SGD 等，都有自己的更新规则，optimizer.step() 会按照相应的规则更新网络参数的值。更新后的参数将被用于下一次的前向传递计算和反向传播计算。

示例代码：

import torch
import torch.nn as nn
import torch.optim as optim

# 创建一个简单的网络
class Net(nn.Module):
    def __init__(self):
        super<