【漫话机器学习系列】008.反向传播算法（Backpropagation Algorithm）

反向传播算法（Backpropagation Algorithm）

反向传播（Backpropagation，简称 BP）是一种高效的梯度下降算法，用于优化神经网络的权重和偏置。它通过计算损失函数相对于模型参数的梯度，从而调整参数以最小化损失函数。

---

1. 基本思想

• 核心目标是最小化损失函数 ，其中：
  • ：真实值。
  • ​：模型预测值。
• BP 算法通过链式法则逐层传播误差，从输出层到输入层，逐步计算梯度并更新参数。

---

2. 反向传播的步骤

(1) 前向传播

1. 输入数据通过网络计算输出（预测值 ​）。
2. 计算每层的激活值  和激活后的输出 。
3. 在最后一层计算损失函数 。