本文详细介绍了神经网络中常见的激活函数，包括Sigmoid、tanh、ReLU及其变种如Leaky ReLU、PReLU、ELU、SELU、Swish等，分析了它们的特点、优缺点以及在实际应用中的表现。
参考 https://www.jiqizhixin.com/articles/2017-11-02-26
https://senitco.github.io/2017/09/05/deep-learning-activation-function/
在神经网络中，我们使用非线性激活函数，如果采用的是线性激活函数或者不采用激活函数，则还是等价于上一步进行的线性变化，网络再深，也和一层是等价的。
- sigmoid: 1 1 + e − x \frac{1}{1+e^{-x}} 1+e−x1
- tanh: e x − e − x e x + e − x \frac{e^x-e^{-x}}{e^x+e^{-x}} ex+e−xex−e−x
t a n h ( x ) = 2 s i g m o i d ( 2 x ) − 1 tanh(x) = 2sigmoid(2x)-1 tanh(x)=2sigmoid(2x)−1 - relu: max ( 0 , x ) \max(0,x) max(0,x)
- leaky-relu: max ( α x , x ) \max(\alpha x,x) max(αx,
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
