目录
1 代价函数
神经网络一般被定义为两种类型,二元分类和多元分类,假设训练集有m个训练样本,每个包含一组输入输出量x,y。L代表神经网络总层数,在这里设为4层。 表示每层的处理单元个数。
上图中左边是二分类问题,即输出层有一个输出神经元;右边为多类别分类问题,也就是说会有K个不同的类,输出为K维向量。
相应于前面的讨论,这里我们要讨论拟合神经网络参数的代价函数,在神经网络中,我们使的代价函数是前面所学Logistic回归中代价函数的一般形式,但是神经网络具有多个输出单元的特性,因此在这里需要做出相应的改变:
Loistic回归代价函数仅有一个输出单元,即,但神经网络中的
表示第k个输出单元的第i个元素,上式中的求和项为K个输出单元之和。而正则项就是所有参数平方和与
之积。
2 反向传播算法
正如前几章所学到的,要使代价函数最小化,需要代价函数的值和代价函数关于参数的偏导数,下面从一个训练样本的情况开始: