从0开始学习机器学习--Day14--如何优化神经网络的代价函数

在上一篇文章中，解析了神经网络处理分类问题的过程，类似的，在处理多元分类问题时，神经网络会按照类型分成多个输出层的神经元来表示，如下：

处理4个分类问题时的神经网络

我们可以看到，相较于之前的分类问题，，这里用的输出是以向量的方式来区分行人、汽车、摩托车还有卡车四种图片，即输出四维向量与原始数据去对比是否预测成功。

神经网络的代价函数(Cost function of Neural Networks)

在学习代价函数之前，让我们先了解一些基本知识。在神经网络中，我们把记为神经网络的层数， 则是对应层数的神经元个数。通常我们将神经网络的分类问题分为二元和多元，当学习问题是二元分类问题时，我们只有一个输出单元，其值为0或1，此时，也记作