吴恩达机器学习笔记（7）——神经网络的一个学习算法

一、代价函数

首先我们定义：
L = 神经网络的总层数
​si = 第L层的单元数量（不含偏置单元）
K = 输出单元/类型的数量
​hΘ(x)k​ = 假设函数中的第k个输出

因为逻辑回归里的代价函数为：

推广到神经网络中：

---

---

---

二、代价函数的优化算法——反向传播算法（backpropagation algorithm）

1、含义
神经网络的代价函数已经求出来了，那么现在要进行min J也就是优化算法。这一节的主要目的是计算J的偏导数。
每当模型预测发生错误时，就需要调整模型参数，进行提高识别精度，这种情况中最有代表性的就是“误差反向传播”。
反向传播算法从直观上说，就是对每一个节点，我们计算这样一项：

当得到最后一层的预测误差后，我们便通过取微分调整，使得上一层的误差变小。这样逐层递推回去，就使得总体的误差变小了。

2、简要步骤
首先我们可以得到最后一层的误差项和激活项的关系：