李宏毅老师课程：Backpropagation（反向传播）

Chain Rule（链式法则）

对整个neural network，我们定义了一个loss function：L(θ)，它等于所有training data的loss之和

我们把training data里任意一个样本点xⁿ代到neural network里面，它会output一个yⁿ，我们把这个output跟样本点本身的label标注的target作cross entropy，这个交叉熵定义了output和target之间的距离lⁿ(θ)，如果cross entropy比较大的话，说明output和target之间距离很远，这个network的parameter的loss是比较大的，反之则说明这组parameter是比较好的

然后对所有training data的cross entropy求和，得到L(θ)，这就是我们的loss function，用这个对某一个参数w做偏微分，表达式如下：

Forward pass