Sigmoid总结

Sigmoid函数是一种logistic函数，它将任意的值转换到 [0,1] 之间，函数表达式如图3所示。导函数如图4所示。

优点：

①Sigmoid函数的输出在(0,1)之间，输出范围有限，优化稳定，可以用作输出层。

②连续函数，便于求导。

缺点：

①饱和性，其两侧导数逐渐趋近于0，容易造成梯度消失。

②激活函数的偏移现象。Sigmoid函数输出值均大于0，使得输出均值不是0，这会导致后一层的神经元将得到上一层非0均值的信号作为输入，这会对梯度产生影响。

③计算复杂度高，因为Sigmoid函数是指数形式。