backward()反向传播

在PyTorch中，backward() 函数是自动微分系统的核心，用于计算梯度。当你在神经网络中进行前向传播（forward pass），即计算预测输出时，backward() 函数允许你进行反向传播（backward pass），即计算损失函数相对于模型参数的梯度。以下是backward()函数的一些关键作用：

1. 计算梯度：backward() 函数计算损失函数相对于模型参数的梯度。这些梯度是优化算法（如SGD、Adam等）更新模型参数的基础。

2. 自动微分：PyTorch利用动态计算图（dynamic computation graph）来实现自动微分。在前向传播过程中，PyTorch记录下操作序列，backward() 函数则利用这些信息来计算梯度。

3. 链式法则：backward() 函数自动应用链式法则来计算梯度。这意味着它能够处理复杂的网络结构，自动计算每个参数对最终损失的贡献。

简单来说就是通过backward反向传播方便，可以自动计算梯度，微分，链式法则等运算

梯度：

梯度的正负值决定了参数更新的方向。梯度是损失函数相对于模型参数的导数，它指示了损失函数在参数空间中增加最快的方向。为了减少损失函数的值，我们需要沿着梯度的反方向更新参数，即：

• 如果梯度是正的，减少参数值可以减少损失。
• 如果梯度是负的，增加参数值可以减少损失。

优化器：

优化器通常会采取以下步骤来更新参数：

1. 计算梯度（即损失函数相对于参数的导数）。
2. 将梯度乘以一个负的学习率（因为我们要向减少损失的方向移动）。
3. SGD更新参数值：参数 = 参数 - 学习率 * 梯度。（不同的优化器更新参数值的公式不一样）

实例：

import torch
import torch.nn as nn

# 定义一个简单的线性模型
model = nn.Linear(2, 1)

# 定义损失函数
criterion = nn.MSELoss()

# 创建输入数据和目标数据
inputs = torch.randn(10, 2, requires_grad=False)
targets = torch.randn(10, 1)

# 定义优化器
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)

# 打印模型的初始参数
print("Model parameters before training:")
for name, param in model.named_parameters():
    print(f"{name}: {param.data}")

# 循环三个epoch
for epoch in range(3):
    # 将模型设置为训练模式
    model.train()

    # 前向传播
    outputs = model(inputs)
    loss = criterion(outputs, targets)

    # 打印当前epoch的loss
    print(f"\nEpoch {epoch + 1}, Loss: {loss.item()}")

    # 反向传播
    optimizer.zero_grad()  # 清除之前的梯度
    loss.backward()

    # 参数更新
    optimizer.step()

    # 打印模型参数和梯度
    print("Model parameters and gradients after epoch {}:".format(epoch + 1))
    for name, param in model.named_parameters():
        print(f"{name}: {param.data}, requires_grad: {param.requires_grad}")
        if param.grad is not None:
            print(f"{name} gradient: {param.grad}")

输出：

SGD更新参数值：参数 = 参数 - 学习率 * 梯度。

• 如果梯度是正的，减少参数值
• 如果梯度是负的，增加参数值

以epoch 1为例

输入：[ 0.6781, -0.3983]#权重  [-0.5326]#偏置

梯度：[ 2.0771, 0.1543] #权重  [-2.6452]#偏置

输出：[ 0.4704, -0.4138]#权重  [-0.2681]#偏置

Model parameters before training:
weight: tensor([[ 0.6781, -0.3983]])#权重
bias: tensor([-0.5326])                        #偏置

Epoch 1, Loss: 3.6159560680389404
Model parameters and gradients after epoch 1:
weight: tensor([[ 0.4704, -0.4138]]), requires_grad: True
weight gradient: tensor([[2.0771, 0.1543]])#梯度
bias: tensor([-0.2681]), requires_grad: True
bias gradient: tensor([-2.6452])#梯度

Epoch 2, Loss: 2.6041829586029053
Model parameters and gradients after epoch 2:
weight: tensor([[ 0.3043, -0.4126]]), requires_grad: True
weight gradient: tensor([[ 1.6608, -0.0116]])
bias: tensor([-0.0620]), requires_grad: True
bias gradient: tensor([-2.0611])

Epoch 3, Loss: 1.9772014617919922
Model parameters and gradients after epoch 3:
weight: tensor([[ 0.1707, -0.4001]]), requires_grad: True
weight gradient: tensor([[ 1.3362, -0.1248]])
bias: tensor([0.0987]), requires_grad: True
bias gradient: tensor([-1.6069])