Lao男孩的博客

(1)sigmoid函数Sigmoid函数饱和使梯度消失。当神经元的激活在接近0或1处时会饱和，在这些区域梯度几乎为0，这就会导致梯度消失，几乎就有没有信号通过神经传回上一层。Sigmoid函数的输出不是零中心的。因为如果输入神经元的数据总是正数，那么关于w的梯度在反向传播的过程中，将会要么全部是正数，要么全部是负数，这将会导致梯度下降权重更新时出现z字型的下降。(2)Tanh函数Tanh解决了Sigmoid的输出是不是零中心的问题，但仍然存在饱和问题。为了防止饱和，现在主流的做法会在激活函.

一般情况，神经网络主要由网络结构，激活函数，最优权重的参数学习算法多层前馈神经网络（BP算法）是目前应用较为广泛的一种参数学习算法。BP神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络。既然我们无法直接得到隐层的权重，我们需要通过输出层得到输出结果和期望输出的误差来间接调整隐层的权重。BP算法就是采用这种思想设计出来的算法。基本思想：学习过程由**信号的正向传播（求损失）和误差的反向传播（误差回传）**两个过程组成。一般流程正向传播FP（求损失）。根据输入的样本，给...