机器学习：神经网络的代价函数及反向传播算法

在《机器学习：神经网络的模型构建》中，我记录了神经网络的一些基础知识，包括神经网络的逻辑单元、模型表示、前向传播等等。这篇笔记中，我会整理神经网络的代价函数以及反向传播算法～

那么如何在给定的训练集下，来为神经网络拟合参数呢？和之前学习的大多数算法一样，要从代价函数开始讨论起了。

---

神经网络在分类中的应用

神经网络可以应用在两种分类问题中：二分类问题和多分类问题。

在二分类问题中，y 等于 0 或 1，神经网络只有一个输出单元；多分类问题中，y 可能为任何实数，神经网络有多个输出单元。

---

神经网络的代价函数

现在我们有一个训练集： ，其中有 m 个训练样本，每个包含一组输入 和一组输出 ，我们用 表示神经网络的总层数，用 表示第 层的单元数量，即神经元的数量（不包括偏置单元）。