正向传播 (Forward Propagation) & 反向传播 (Backward Propagation)

CSBLOG

已于 2024-12-02 15:32:20 修改

阅读量1.2k

点赞数 17

CC 4.0 BY-SA版权

分类专栏： AI 文章标签：人工智能机器学习深度学习

于 2024-12-02 11:10:02 首次发布

本文链接：https://blog.youkuaiyun.com/CSBLOG/article/details/144182704

AI 专栏收录该内容

51 篇文章

订阅专栏

在神经网络训练中，正向传播和反向传播是两个核心步骤，用于计算损失并调整权重以最小化该损失。

正向传播 (Forward Propagation)

正向传播是指输入数据通过网络层传递直到输出的过程。在这个过程中，每一层的激活函数对前一层的加权输入求和，并加上偏置项后进行转换。具体来说，对于一个简单的全连接层，正向传播可以表示为：

输入： $\mathbf{x}$
权重矩阵： $\mathbf{W}$
偏置向量： $\mathbf{b}$
激活函数： $f(\cdot)$

公式

$\mathbf{z} = \mathbf{W}\mathbf{x} + \mathbf{b}$
$\mathbf{a} = f(\mathbf{z})$

其中 $\mathbf{z}$ 是线性组合的结果， $\mathbf{a}$ 是经过激活函数后的输出。
在这里插入图片描述

反向传播 (Backward Propagation)

反向传播是根据预测输出与真实标签之间的差异（即损失），通过梯度下降算法更新网络参数的过程。它依赖于链式法则来计算相对于每个权重的损失梯度。

损失函数

设 $L(\hat{\mathbf{y}}, \mathbf{y})$ 为损失函数，其中 $\hat{\mathbf{y}}$ 是模型的预测输出， $\mathbf{y}$ 是真实标签。

链式法则

对于第 $l$ 层的权重 $\mathbf{W}^{[l]}$ 和偏置 $\mathbf{b}^{[l]}$ ，我们使用链式法则来计算它们的梯度：

$\frac{\partial L}{\partial \mathbf{W}^{[l]}} = \frac{\partial L}{\partial \mathbf{z}^{[l]}} \cdot \frac{\partial \mathbf{z}^{[l]}}{\partial \mathbf{W}^{[l]}}$
$\frac{\partial L}{\partial \mathbf{b}^{[l]}} = \frac{\partial L}{\partial \mathbf{z}^{[l]}} \cdot \frac{\partial \mathbf{z}^{[l]}}{\partial \mathbf{b}^{[l]}}$

这里 $\frac{\partial L}{\partial \mathbf{z}^{[l]}}$ 是从下一层（或最终的损失）传递回来的误差信号。

参数更新

一旦计算出所有必要的梯度，就可以使用某种形式的梯度下降来更新参数：

$\mathbf{W}^{[l]} := \mathbf{W}^{[l]} - \alpha \frac{\partial L}{\partial \mathbf{W}^{[l]}}$
$\mathbf{b}^{[l]} := \mathbf{b}^{[l]} - \alpha \frac{\partial L}{\partial \mathbf{b}^{[l]}}$

其中 $\alpha$ 是学习率，控制更新的步伐大小。
在这里插入图片描述

总结

正向传播负责计算网络的输出。
反向传播则利用损失函数和链式法则来计算权重的梯度，并据此调整这些权重，从而优化模型性能。

为了演示正向传播和反向传播，我们可以使用Python和一个流行的深度学习库如PyTorch。下面是一个简单的例子，展示如何构建一个两层的神经网络，并实现其正向传播和反向传播。

import torch
import torch.nn as nn
import torch.optim as optim

# 定义一个简单的两层神经网络
class SimpleNN(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(SimpleNN, self).__init__()
        # 定义第一层（输入层到隐藏层）
        self.fc1 = nn.Linear(input_size, hidden_size)
        # 定义第二层（隐藏层到输出层）
        self.fc2 = nn.Linear(hidden_size, output_size)
        # 激活函数
        self.relu = nn.ReLU()

    def forward(self, x):
        # 正向传播
        out = self.fc1(x)  # 线性变换
        out = self.relu(out)  # 激活函数
        out = self.fc2(out)  # 线性变换
        return out

# 初始化参数
input_size = 10
hidden_size = 5
output_size = 2
learning_rate = 0.01

# 实例化模型、损失函数和优化器
model = SimpleNN(input_size, hidden_size, output_size)
criterion = nn.MSELoss()  # 均方误差损失
optimizer = optim.SGD(model.parameters(), lr=learning_rate)

# 创建一些假数据
inputs = torch.randn(3, input_size)  # 3个样本，每个样本有10个特征
targets = torch.randn(3, output_size)  # 3个样本的目标值

# 训练循环
for epoch in range(100):  # 进行100次迭代
    # 正向传播：计算预测值
    outputs = model(inputs)
    loss = criterion(outputs, targets)  # 计算损失

    # 反向传播和优化
    optimizer.zero_grad()  # 清空之前的梯度
    loss.backward()  # 反向传播，计算梯度
    optimizer.step()  # 更新权重

    if (epoch+1) % 10 == 0:
        print(f'Epoch [{epoch+1}/100], Loss: {loss.item():.4f}')

print('训练完成')

代码解释：

定义网络：
- SimpleNN 类继承自 nn.Module，是所有神经网络模块的基类。
- __init__ 方法中定义了网络的结构，包括两个线性层 (fc1, fc2) 和一个激活函数 (ReLU)。
- forward 方法定义了前向传播的过程，即如何从输入计算到输出。
初始化参数：
- 设置输入、隐藏层和输出层的大小，以及学习率。
实例化模型、损失函数和优化器：
- model 是我们定义的 SimpleNN 的一个实例。
- criterion 是均方误差损失函数，用于衡量预测值与真实值之间的差异。
- optimizer 是随机梯度下降优化器，它会根据计算出的梯度来更新模型的参数。
创建假数据：
- inputs 是随机生成的输入数据，形状为 [3, 10]，表示3个样本，每个样本有10个特征。
- targets 是随机生成的目标值，形状为 [3, 2]，表示3个样本对应的真实标签。
训练循环：
- 在每次迭代中，首先执行正向传播，计算模型的输出并使用损失函数计算损失。
- 然后调用 optimizer.zero_grad() 来清空之前的梯度，这是因为在默认情况下，梯度会累加。
- 接着调用 loss.backward() 来执行反向传播，计算所有参数的梯度。
- 最后调用 optimizer.step() 来更新模型参数。
- 每隔10次迭代打印一次损失值，以便观察训练过程。

上述代码展示了如何在PyTorch中实现一个简单的神经网络，并通过正向传播和反向传播进行训练。你可以根据需要调整网络结构、数据集和训练参数。

为什么选择正向传播和反向传播

正向传播和反向传播是训练神经网络的两种互补过程，它们共同构成了梯度下降法的基础。这种方法之所以广泛使用，是因为它在理论上具有坚实的数学基础，并且在实践中被证明是非常有效的。以下是为什么选择这种方式进行训练的原因。

自动微分：反向传播利用了链式法则，能够高效地计算损失函数相对于每个参数的梯度。这使得我们可以通过梯度下降或其变种（如随机梯度下降、Adam等）来优化模型参数。
可扩展性：随着网络深度的增加，直接计算每个参数对损失的影响变得非常复杂。而反向传播算法可以有效地处理深层网络中的梯度计算问题。
效率：相比于其他可能的方法，比如暴力搜索所有可能的参数组合，正向传播和反向传播极大地减少了计算量，提高了训练效率。
适应性强：这种方法不仅适用于全连接层，还可以与卷积层、循环层等多种类型的层结合使用，适用于各种不同的任务和数据类型。
成熟的工具支持：许多深度学习框架（如TensorFlow, PyTorch, Keras等）都内置了高效的实现，简化了开发者的使用难度。

替代方法

虽然正向传播和反向传播是最常见的训练方法，但还有其他一些方法和技术可以用于训练神经网络或类似的模型：

进化算法：这些算法模拟自然选择的过程，通过生成大量候选解并根据性能筛选出最优解来进行优化。例如遗传算法（Genetic Algorithms, GA）。这类方法不需要显式的梯度信息，但在高维空间中搜索最优解可能会非常耗时。
强化学习：当目标是使代理在环境中做出一系列决策以最大化累积奖励时，可以使用强化学习。这是一种试错学习形式，其中代理通过与环境交互来学习最佳策略。尽管它不直接涉及反向传播，但它可以在某些情况下用于训练神经网络（例如，在深度强化学习中）。
无监督学习/自监督学习：这些方法试图从未标注的数据中发现模式或结构。对于神经网络而言，可以采用自编码器（Autoencoders）、生成对抗网络（GANs）等形式进行训练。这些方法不一定依赖于传统的监督学习所需的标签数据。
元学习（Meta-Learning）：也称为“学习如何学习”，旨在让模型快速适应新的任务。MAML（Model-Agnostic Meta-Learning）是一个典型的例子，它能够在少量样本上快速调整模型参数。这种方法通常涉及到内部的梯度更新步骤，但整体上与标准的正向-反向传播有所不同。
直通估计器（Straight-Through Estimators）：用于离散变量的训练，例如在二值神经网络或者强化学习中的动作选择。这类方法允许在不可导的操作上进行近似的梯度传递，从而使得端到端训练成为可能。
基于采样的方法：如蒙特卡洛方法（Monte Carlo Methods），这些方法通过从分布中抽取样本来估计期望值或积分，而不是直接计算梯度。它们在概率图模型和其他需要处理不确定性的场景中有应用。
零阶优化方法：这类方法仅使用函数值而不使用梯度信息，例如Nelder-Mead单纯形法。然而，它们通常比基于梯度的方法更慢，尤其是在高维空间中。
对比学习（Contrastive Learning）：一种自监督学习的形式，通过最小化相似样本之间的距离同时最大化不同样本之间的距离来学习表示。这在视觉表征学习等领域有广泛应用。