机器学习激活函数选择对比

1-1. sigmoid函数

取值范围为(0,1)，因而又称为l Logistic 函数，它可以将一个实数映射到(0,1)的区间，可以用来做二分类
应用：在特征相差比较复杂或是相差不是特别大时效果比较好。有小伙伴对这句话存在疑虑，在下面附注中补充说明哈。
sigmoid缺点：
激活函数计算量大，反向传播求误差梯度时，求导涉及除法
反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练

1-2. Tanh函数

或者写成 sigmoid 变形


由上述图像，取值范围为[-1,1]，又可称为双切正切函数
应用：tanh在特征相差明显时的效果会很好，