吴恩达机器学习（七）神经网络（反向传播）

目录

0. 前言

1. 代价函数（Cost Function）

2. 反向传播（back propagation）

3. 前向传播和反向传播的结合

4. 梯度检测（gradient checking）

5. 随机初始化

---

学习完吴恩达老师机器学习课程的神经网络，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。

如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~

0. 前言

上一篇文章中，介绍了神经网络的前向传播（forward propagation），前向传播是从输入层开始，不断前进计算参数、激活函数，直到传播至输出层。

反向传播（back propagation）从输出层开始，不断计算误差值，向后传播，传播至输入层，修改神经网络中的参数，得以更好的效果。

初始作如下定义：

•  --- 神经网络的总层数
•  --- 第  层的激活单元数量（不包括偏置单元）
•  --- 输出层的单元数量
•  --- 输出层第  个单元的输出值
•  --- 第  层的第  个单元的误差

1. 代价函数（Cost Function）

在逻辑回归中，我们的代价函数为