前馈神经网络和反向传播算法

一、前馈神经网络
   在对多层神经网络进行分析前，先对神经网络中的一些字符进行一些说明：

   下图为一个多层神经网络的简单示意图：

   每个神经元的表达式如下：

   所以可知前向传播的步骤如下，就是一步一步对节点对应的值进行计算：

二、反向传播算法的具体实现
   反向传播算法是为了更好更快的训练前馈神经网络，从而得到神经网络每一层的权重参数和偏置参数。下面以一组图来讲解前向传播和反向传播算法的具体实现方式：
   下图为一个多层神经网络：

函数f为一个神经元激励函数，下图对输入信号的转化做了详细的解释：

下图详细解释了在前向传播的过程中，输入信号和第一层隐藏层的计算过程：

下图详细解释了在前向传播的过程中，第一层隐藏层和第二层隐藏层的转化过程：

利用第二层隐藏层计算的结果推导出最后输出层的结果，至此前向传播过程结束：

接下来就是反向传播的过程，先计算出前向神经网络得到的输出结果跟实际的结果的差值：

利用计算得到的差值找到前一层的残差：

然后利用得到的残差更新每一层的权重：

  至此可以得到更新后的权值，从而实现对多层神经网络的训练。