全连接的BP神经网络

《全连接的BP神经网络》

本文主要描述全连接的BP神经网络的前向传播和误差反向传播，所有的符号都用Ng的Machine learning的习惯。下图给出了某个全连接的神经网络图。

1前向传播

1.1前向传播

分别计算第l层神经元的输入和输出；

1.1.1偏执项为1时

向量整体形式：

分量形式：

    

1.1.2偏执项为b时

向量整体形式：

分量形式：

    

1.2网络误差

1.2.1偏执项为1时

对于某一个输入样本，它的输出为，它所对应的真实输出应该为，那么，该样本对应的误差E为

         （1）

注意到输出层的第k个神经元的输出可以计算如下：

        （2）

那么，误差E可以展开至隐藏层(第L-1层)的形式

        （3）

又注意到隐藏层(第L-1层)的第j个神经元的输出可以计算如下：

        (4)

那么，误差E进一步展开至隐藏层(第L-2层)

        (5)

可以发现，E是权值的函数。

1.2.2偏执项为b时

对于某一个输入样本，它的输出为，它所对应的真实输出应该为