2020-10-08

激活函数的比较

【1】sigmoid函数和tanh函数：tanh函数可以看为sigmoid函数平移后的结果。一般来说，tan函数的效果要比sigoid函数的效果好，因为tanh函数输出介于-1—1之间， 激活函数的平均值就更接近于0 ，起到类似于数据中心化的结果，让下一层的学习更方便。
【2】在二元分类问题上， 可以使用sigma函数作为输出层
【3】sigmoid函数和tanh函数都有一个缺点：如果z非常大或非常小，这个函数的斜率会非常小，会拖慢梯度下降算法
【4】修正线性单元ReLU函数：
【5】所以，默认选择是：如果你的输出是0和1，那么sigmoid函数很适合作为输出层的激活函数，然后其他所有的单元都使用ReLU作为激活函数。