Neural Network Cost fu

我们用L来标记神经网络的层数，例如这里就是 4 。我们用 s l （小写的L）来标记第l层的单元数量，例如这里就是：s1=3、s2=s3=5 、s4=4 ，注意这里是不包含偏差单元的，也就是a 0 = 1 的单元。每一层特征的计算，使用的公式依然是逻辑函数：

             

Logistic regression的代价函数为：

类比Logistic regression的代价函数，我们得到Neural network的代价函数：

逐项分解有：

项1

项1表示所有输出单元误差的总和。

项2

项2表示对所有权重进行正则化修正，其中i表示行，j表示列，l表示层

2.反向传递