简单多层全连接神经网络

1.简单多层全链接前向网络

1.1模拟神经元

        脑神经元收到一个输入的信号，经过不同的突触、信号进入神经元，接着通过神经元内部的激活处理，最后沿着神经元的轴突输出一个信号，这个轴突通过与下一个神经元的突触相连，从而将输出信号传到下一个神经元。

       在神经网络的计算模型中，输入信号就是我们的输入数据，模型的参数就相当于突触，然后输入信号传入神经元就像是输入的数据和模型参数进行线性组合，然后经过激活函数，最后传出模型。

1.2单层神经网络分类器

        一个神经元可以对一个输入进行不同的操作，可以是“喜欢（激活变大），或者是“不喜欢（激活变小）”，正是由于激活函数的作用，我们可以将一层神经网络用作分类器，正样本就让激活函数激活变大，负样本就让激活函数激活变小。

1.3激活函数

⑴Sigmoid

        Sigmoid非线性激活函数的数学表达式是,Sigmoid函数是将一个实数转化为0~1之间输出，但该函数近几年很少有人再使用了，原因是因为Sigmoid有两大缺点。

        缺点1：Sigmoid函数会造成梯度消失，Sigmoid函数在靠近1和0的两端时，梯度会几乎变成0，如果梯度接近0，那么没有任何信息来更新参数，这样就会造成模型不收敛。另外在初始化权重参数的时候也需要小心，如果初始化的太大，那么经过激活