Pytorch 学习 - 6.pytorch 张量数学-自动求取梯度

先掌握pytorch，学好pytorch,  才能学好人工智能

autograd

torch.autograd.backward

torch.autograd.backward 是 PyTorch 中用于自动计算张量(tensor)梯度的函数。在深度学习和神经网络训练中，梯度计算是反向传播算法的核心部分，它允许我们更新模型的权重以最小化损失函数。下面是对 torch.autograd.backward 函数的详细解释：

功能

torch.autograd.backward 函数用于计算图中所有需要梯度的叶子节点的梯度。这些叶子节点通常是模型的参数（如权重和偏置），它们被标记为 requires_grad=True。在调用此函数后，PyTorch 会自动计算这些叶子节点相对于某个标量（通常是损失函数值）的梯度。

使用方法

1. 准备张量：首先，你需要确保你的模型参数（张量）设置了 requires_grad=True。这意味着 PyTorch 会跟踪对这些张量的所有操作，以便后续计算梯度。

2. 前向传播：执行模型的前向传播，计算损失值。这个损失值应该是一个标量（单个数值），因为 torch.autograd.backward 默认只能对标量进行操作。如果损失值是一个向量或矩阵，你需要指定一个 gradient_arguments 参数来指明对每个元素求导的权重。

3. 调用 backward：调用 torch.autograd.backward() 或张量自身的 .backward() 方法来计算梯度。对于标量损失，不需要额外的参数。

4. 更新参数：使用优化器（如 SGD, Adam 等）根据计算出的梯度更新模型参数。

参数

• tensor（可选）：如果你不是对某个标量直接调用 torch.autograd.backward()，而是对一个非标量张量调用，你需要传递一个与这个张量形状相同的 gradient 参数，指明对每个元素的梯度贡献。
• retain_graph（布尔值，默认为 False）：如果设置为 True，则保留计算图，用于多次