Deep Learning 学习笔记6：深度前馈网络（二）

深度前馈神经网络（FNN）一般有两种结构，包括反向传播网络（BP）与径向基函数神经网络（RBF）。在这片文章中，重点研究反向传播网络。而BP网络也是众多神经网络里最简单的一种。

最简单的BP网络如下所示：

                                  

输入层是一个线性函数，激活函数则选用sigmoid函数。在这个网络中，只要输入两个参数x和y，就可以开始训练了。        

神经网络训练：

首先考虑最简单的结构，第一层是隐藏层h，第二层是输出层o，如下图：

每一次的输入后都会产生一个输出值，我们将误差定义如下：

                                                                            

其中y是真实值，yo是神经网络的输出值。

现在要做的就是减小这个误差。也就是通过改变我们最初的权重值与偏置值来减小误差。反向传播法的原理可以看我之前的文章：Deep Learning 学习笔记4：神经网络的反向传播法。通过反向传播法减小误差的公式为：