吴恩达机器学习笔记29-神经网络的代价函数（Cost Function of Neural Networks）

　　假设神经网络的训练样本有?个，每个包含一组输入?和一组输出信号?，?表示神经网
络层数，??表示每层的neuron 个数(??表示输出层神经元个数)，??代表最后一层中处理单元
的个数。
　　将神经网络的分类定义为两种情况：二类分类和多类分类，
二类分类：?? = 0, ? = 0 ?? 1表示哪一类；
?类分类：?? = ?, ?? = 1表示分到第i 类；(? > 2)

我们回顾逻辑回归问题中我们的代价函数为：

　　在逻辑回归中，我们只有一个输出变量，又称标量（scalar），也只有一个因变量?，但
是在神经网络中，我们可以有很多输出变量，我们的ℎ?(?)是一个维度为?的向量，并且我们
训练集中的因变量也是同样维度的一个向量，因此我们的代价函数会比逻辑回归更加复杂一
些，为：

 

　　这个看起来复杂很多的代价函数背后的思想还是一样的，我们希望通过代价函数来观察
算法预测的结果与真实情况的误差有多大，唯一不同的是，对于每一行特征，我们都会给出
?个预测，基本上我们可以利用循环，对每一行特征都预测?个不同结果，然后在利用循环
在?个预测中选择可能性最高的一个，将其与?中的实际数据进行比较。

　　正则化的那一项只是排除了每一层?0后，每一层的? 矩阵的和。最里层的循环?循环所
有的行（由?? +1 层的激活单元数决定），循环?则循环所有的列，由该层（??层）的激活单
元数所决定。即：ℎ? (?)与真实值之间的距离为每个样本-每个类输出的加和，对参数进行
regularization 的bias 项处理所有参数的平方和。

转载于:https://www.cnblogs.com/sl0309/p/10415059.html