神经网络参数更新公式推导（一）——单隐层网络

一、 神经网络的发展过程：

       1. MP 神经元；

       2. 感知机；

       3. 多层前馈神经网络；

       4. 误差逆向传播算法；

二、 神经网络发展中的问题：

       早期的感知机只有一个MP神经元，不能处理非线性问题，甚至连最简单的“异或”问题都不能解决。出现这种显现的问题在于只有一个MP神经元，但是自然界中绝大多数生物都不止一个细胞，当单个MP神经元出现局限的时候，自然会想到在感知机基础上增加更多的神经元，让感知机更加强大。

解决非线性问题的方法：增加MP神经元数量，例如可以再增加一层神经元，如下图：

                                

增加神经元个数又带来新的两个问题：

       问题1. 由于硬判别，参数的变化并没有导致网络整体输出的变化；

       原因：神经元的激活函数是阶梯函数，其不连续且不可导，输出跳变，只有0和1两种结果。

       问题2. 参数如何更新？

       原因：由于神经网络的层级结构，输出Y是复合了多次输入的函数，直接求导其偏导数很复杂，计算效率很低。（从这里可看到，传统的方法也能解决逆向传播的问题，只是效率比较低，而BP算法也是主要为提高计算效率而提出。）