机器学习日记（6）

机器学习日记（6）

神经网络的学习(Neural Networks: Learning)

代价函数（Cost Function）

首先引入一些便于稍后讨论的新标记方法：
假设神经网络的训练样本有𝑚个，每个包含一组输入𝑥和一组输出信号𝑦，𝐿表示神经网络层数，𝑆_𝐼表示每层的 neuron 个数(𝑆_l表示输出层神经元个数)，𝑆_𝐿代表最后一层中处理单元的个数。
将神经网络的分类定义为两种情况：二类分类和多类分类，
二类分类：𝑆_𝐿 = 0, 𝑦 = 0 𝑜𝑟 1表示哪一类；
𝐾类分类：𝑆_𝐿 = 𝑘, 𝑦_𝑖 = 1表示分到第 i 类；(𝑘 > 2)

我们回顾逻辑回归问题中我们的代价函数为：

在逻辑回归中，我们只有一个输出变量，又称标量（scalar），也只有一个因变量𝑦，但是在神经网络中，我们可以有很多输出变量，我们的ℎ𝜃(𝑥)是一个维度为𝐾的向量，并且我们训练集中的因变量也是同样维度的一个向量，因此我们的代价函数会比逻辑回归更加复杂一
些，为： ℎ_𝜃(𝑥) ∈ ℝ^𝐾 ，(ℎ_𝜃(𝑥))_𝑖= 𝑖^𝑡ℎoutput