简单理解反向传播(BP)算法(自用)

维基百科定义

反向传播(Back-Propagation)是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。 该方法对网络中所有权重计算损失函数的梯度。 这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。(误差的反向传播)。

引入

先来看看这样一个线性拟合的例子，x经过一个线性变换得到y，并用最小二乘法作为优化的损失函数，是y的真实值。

在这里，和是模型内部的变量，也就是参数，它们是从训练数据中得到的。参数的值直接影响模型对数据的预测，在训练过程中，模型通过优化算法(如之前介绍的梯度下降梯度下降算法（Gradient Descent）-优快云博客)调整参数的值，以最小化损失函数。

根据梯度下降算法，我们需要计算损失函数