1.8讲道理——什么是反向传播？

一、反向传播基础概念

1. 定义：反向传播是神经网络中用于计算参数梯度、进而通过优化器更新参数的核心算法，核心逻辑是“从输出层到输入层，沿前向传播的反方向传递误差，并计算各层参数对损失的梯度”。

2. 核心作用：解决神经网络参数优化问题，通过梯度指引参数调整方向，使模型的损失函数值不断减小，最终提升模型预测精度。

3. 前置知识：

   • 链式法则：多变量函数求导的核心规则，反向传播中梯度的传递依赖链式法则逐层计算。

   • 损失函数：用于衡量模型预测值与真实值的差异，如均方误差（MSE）、交叉熵损失等，是反向传播的“误差源头”。

   • 神经网络基本结构：需明确输入层、隐藏层、输出层的神经元数量，以及各层使用的激活函数（如Sigmoid、ReLU）。

二、反向传播核心原理（三步法）

1. 第一步：前向传播（计算预测值与损失）

• 按“输入层→隐藏层→输出层”的顺序，计算每一层的输出值。

• 以单隐藏层网络为例，假设输入为 $x$ ，隐藏层权重为 $W_1$ 、偏置为 $b_1$ ，激活函数为 $\sigma$ ，输出层权重为 $W_2$ 、偏置为 $b_2$ ，则：

  • 隐藏层输入： $z_1=W_{1}x+b_1$

  • 隐藏层输出： $a_1=\sigma (z_1)$

  • 输出层输入： $z_2=W_2{a}_1+b_2$

  • 模型预测值： $y_{pred}=\sigma (z_2)$ （若为回归任务，输出层可无激活函数）

• 计算损失：根据损失函数，对比 $y_{pred}$ 与真实标签 $y_{true}$ ，得到损失值 $L$ （如MSE损失 $L=\frac{1}{2}(y_{pred}-y_{true}{)}^2$ ）。

2. 第二步：反向传播（计算各参数梯度）

• 从输出层开始，沿“输出层→隐藏层→输入层”的反方向，利用链式法则计算各参数（ $W_2$ 、 $b_2$ 、 $W_1$ 、 $b_1$ ）对损失 $L$ 的梯度。

• 关键梯度计算逻辑：

  • 输出层参数梯度：先求损失对输出层输入 $z_2$ 的梯度（记为 ${\delta }_2=\frac{\partial L}{\partial z_2}$ ），再结合隐藏层输出 $a_1$ ，得到 $\frac{\partial L}{\partial W_2}={\delta }_2\cdot a_1^T$ 、 $\frac{\partial L}{\partial b_2}={\delta }_2$ 。

  • 隐藏层参数梯度：先将输出层的梯度 ${\delta }_2$ 传递到隐藏层，得到损失对隐藏层输入 $z_1$ 的梯度（ ${\delta }_1=W_2^T\cdot {\delta }_2\cdot {\sigma }^{\prime }(z_1)$ ，其中 ${\sigma }^{\prime }(z_1)$ 是激活函数的导数），再结合输入 $x$ ，得到 $\frac{\partial L}{\partial W_1}={\delta }_1\cdot x^T$ 、 $\frac{\partial L}{\partial b_1}={\delta }_1$ 。

3. 第三步：参数更新（基于梯度优化）

• 利用计算出的参数梯度，结合优化器（如随机梯度下降SGD）更新参数，更新公式为： $W_{new}=W_{old}-\eta \cdot \frac{\partial L}{\partial W}$ ， $b_{new}=b_{old}-\eta \cdot \frac{\partial L}{\partial b}$ ，其中 $\eta$ 是学习率（控制每步参数更新的幅度）。

三、具体计算案例（单隐藏层神经网络）

1. 案例设定

• 网络结构：输入层（1个神经元， $x=1$ ）→ 隐藏层（2个神经元）→ 输出层（1个神经元）。

• 激活函数：全层使用Sigmoid函数（ $\sigma (z)=\frac{1}{1+e^{-z}}$ ，导数 ${\sigma }^{\prime }(z)=\sigma (z)(1-\sigma (z))$ ）。

• 初始参数： $W_1=\left[\begin{array}{cc}0.1& 0.2\\ 0.3& 0.4\end{array}\right]$ ， $b_1=\left[\begin{array}{c}0.5\\ 0.6\end{array}\right]$ ； $W_2=\left[\begin{array}{cc}0.7& 0.8\end{array}\right]$ ， $b_2=0.9$ 。

• 真实标签： $y_{true}=0.5$ 。

2. 第一步：前向传播计算

1. 隐藏层输入： $z_1=W_{1}x+b_1=\left[\begin{array}{c}0.1\times 1+0.5\\ 0.3\times 1+0.6\end{array}\right]=\left[\begin{array}{c}0.6\\ 0.9\end{array}\right]$

2. 隐藏层输出： $a_1=\sigma (z_1)=\left[\begin{array}{c}\frac{1}{1+e^{-0.6}}\approx 0.6457\\ \frac{1}{1+e^{-0.9}}\approx 0.7109\end{array}\right]$

3. 输出层输入： $z_2=W_2{a}_1+b_2=0.7\times 0.6457+0.8\times 0.7109+0.9\approx 0.452+0.5687+0.9\approx 1.9207$

4. 预测值： $y_{pred}=\sigma (z_2)\approx \frac{1}{1+e^{-1.9207}}\approx 0.8707$

5. 损失值（MSE）： $L=\frac{1}{2}(0.8707-0.5{)}^2\approx \frac{1}{2}\times 0.1374\approx 0.0687$

3. 第二步：反向传播计算梯度

1. 计算输出层梯度（ ${\delta }_2$ ）：

   • ${\delta }_2=\frac{\partial L}{\partial z_2}=(y_{pred}-y_{true})\cdot {\sigma }^{\prime }(z_2)$ 。

   • ${\sigma }^{\prime }(z_2)=0.8707\times (1-0.8707)\approx 0.1126$ 。

   • ${\delta }_2=(0.8707-0.5)\times 0.1126\approx 0.3707\times 0.1126\approx 0.0417$ 。

2. 计算输出层参数梯度：

   • $\frac{\partial L}{\partial W_2}={\delta }_2\cdot a_1^T\approx 0.0417\times \left[\begin{array}{cc}0.6457& 0.7109\end{array}\right]\approx \left[\begin{array}{cc}0.0269& 0.0296\end{array}\right]$ 。

   • $\frac{\partial L}{\partial b_2}={\delta }_2\approx 0.0417$ 。

3. 计算隐藏层梯度（ ${\delta }_1$ ）：

   • ${\delta }_1=W_2^T\cdot {\delta }_2\cdot {\sigma }^{\prime }(z_1)$

   • ${\sigma }^{\prime }(z_1)=\left[\begin{array}{c}0.6457\times (1-0.6457)\approx 0.2281\\ 0.7109\times (1-0.7109)\approx 0.2055\end{array}\right]$

   • $W_2^T\cdot {\delta }_2=\left[\begin{array}{c}0.7\times 0.0417\\ 0.8\times 0.0417\end{array}\right]\approx \left[\begin{array}{c}0.0292\\ 0.0334\end{array}\right]$

   • ${\delta }_1=\left[\begin{array}{c}0.0292\times 0.2281\approx 0.0067\\ 0.0334\times 0.2055\approx 0.0069\end{array}\right]$

4. 计算隐藏层参数梯度：

   • $\frac{\partial L}{\partial W_1}={\delta }_1\cdot x^T\approx \left[\begin{array}{c}0.0067\times 1\\ 0.0069\times 1\end{array}\right]=\left[\begin{array}{c}0.0067\\ 0.0069\end{array}\right]$ （因 $x$ 为1维，结果维度与 $W_1$ 一致）

   • $\frac{\partial L}{\partial b_1}={\delta }_1\approx \left[\begin{array}{c}0.0067\\ 0.0069\end{array}\right]$

4. 第三步：参数更新（学习率 $\eta =0.1$ ）

• $W_2^{new}=W_2-\eta \cdot \frac{\partial L}{\partial W_2}\approx \left[\begin{array}{cc}0.7-0.1\times 0.0269& 0.8-0.1\times 0.0296\end{array}\right]\approx \left[\begin{array}{cc}0.6973& 0.7970\end{array}\right]$

• $b_2^{new}=0.9-0.1\times 0.0417\approx 0.8958$

• $W_1^{new}=W_1-\eta \cdot \frac{\partial L}{\partial W_1}\approx \left[\begin{array}{cc}0.1-0.1\times 0.0067& 0.2-0.1\times 0.0067\\ 0.3-0.1\times 0.0069& 0.4-0.1\times 0.0069\end{array}\right]\approx \left[\begin{array}{cc}0.0993& 0.1993\\ 0.2993& 0.3993\end{array}\right]$

• $b_1^{new}=\left[\begin{array}{c}0.5-0.1\times 0.0067\\ 0.6-0.1\times 0.0069\end{array}\right]\approx \left[\begin{array}{c}0.4993\\ 0.5993\end{array}\right]$

四、PyTorch框架下的反向传播实现（对应视频实战）

1. 核心逻辑

PyTorch通过“动态计算图”自动实现反向传播，无需手动计算梯度，只需定义网络结构、损失函数，调用loss.backward()即可自动求导。

2. 代码示例（对应案例网络）

import torch
import torch.nn as nn
import torch.optim as optim

# 1. 定义网络结构（单隐藏层）
class SimpleNN(nn.Module):
    def __init__(self):
        super(SimpleNN, self).__init__()
        self.hidden = nn.Linear(1, 2)  # 输入1维→隐藏层2维（W1, b1）
        self.output = nn.Linear(2, 1)  # 隐藏层2维→输出1维（W2, b2）
        self.sigmoid = nn.Sigmoid()    # Sigmoid激活函数

    def forward(self, x):
        # 前向传播：x → 隐藏层 → Sigmoid → 输出层 → Sigmoid
        x = self.hidden(x)
        x = self.sigmoid(x)
        x = self.output(x)
        x = self.sigmoid(x)
        return x

# 2. 初始化模型、损失函数、优化器
model = SimpleNN()
# 手动设置初始参数（与案例一致）
model.hidden.weight.data = torch.tensor([[0.1, 0.3], [0.2, 0.4]]).T  # PyTorch中Linear权重维度为（输出维，输入维）
model.hidden.bias.data = torch.tensor([0.5, 0.6])
model.output.weight.data = torch.tensor([[0.7, 0.8]])
model.output.bias.data = torch.tensor([0.9])

criterion = nn.MSELoss()  # 均方误差损失
optimizer = optim.SGD(model.parameters(), lr=0.1)  # SGD优化器，学习率0.1

# 3. 前向传播
x = torch.tensor([[1.0]])  # 输入（批量维度，1个样本）
y_true = torch.tensor([[0.5]])  # 真实标签
y_pred = model(x)  # 预测值
loss = criterion(y_pred, y_true)  # 计算损失

# 4. 反向传播与参数更新
optimizer.zero_grad()  # 清空之前的梯度（避免累积）
loss.backward()        # 自动计算所有参数的梯度（对应手动计算的梯度）
optimizer.step()       # 根据梯度更新参数（对应手动参数更新）

# 5. 打印结果
print("预测值：", y_pred.item())
print("损失值：", loss.item())
print("更新后输出层权重：", model.output.weight.data)

3. 框架优势对比

• 手动计算：需逐层推导梯度公式，易出错，仅适用于简单网络。

• PyTorch自动求导：无需关注梯度计算细节，支持复杂网络（如卷积神经网络），且梯度计算高效、准确。

五、常见问题与注意事项

1. 梯度消失/爆炸：

   • 原因：激活函数（如Sigmoid）在输入值过大/过小时导数接近0，导致梯度传递到浅层时趋近于0（梯度消失）；或网络参数初始值过大，导致梯度逐层放大（梯度爆炸）。

   • 解决方法：使用ReLU等梯度不易消失的激活函数、采用 Xavier/He 等参数初始化方法、使用批量归一化（Batch Normalization）。

2. 梯度累积：PyTorch中若未调用optimizer.zero_grad()，梯度会累积到上一次的梯度值上，导致参数更新错误，需每次反向传播前清空梯度。

3. 学习率选择：学习率过大会导致参数震荡不收敛，过小则参数更新缓慢，需根据任务调整（如初始用0.1，后续逐步减小）。