各种激活函数的计算公式、图像以及实现代码

最新推荐文章于 2025-04-07 15:52:34 发布

shifenglv

最新推荐文章于 2025-04-07 15:52:34 发布

阅读量5.2k

点赞数 4

分类专栏：算法 python 文章标签：深度学习激活函数神经网络

本文链接：https://blog.youkuaiyun.com/qq_28249373/article/details/129405137

版权

算法同时被 2 个专栏收录

5 篇文章

订阅专栏

python

3 篇文章

订阅专栏

激活函数已经成为神经网络中非常重要的一部分，随着各种类型的神经网络模型被人们开发出来，各种激活函数也应运而生，在不同的场景中，取得良好的效果。本文跟据著名的YOLO系列目标检测模型的源码 AlexeyAB Darknet，整理出目前神经网络模型中应用最广泛的20种激活函数，对它们的计算公式、图像特点进行介绍，并使用python代码实现这些激活函数的计算。

1、stair激活函数

如图1所示，stair激活函数的图像就像阶梯一样。它的计算公式如下：

$stair(x)=\left\{\begin{matrix} \left \lfloor x/2 \right \rfloor& (mod(\left \lfloor x \right \rfloor,2)=0)\\ (x+\left \lfloor x \right \rfloor)+\left \lfloor x/2 \right \rfloor&(mod(\left \lfloor x \right \rfloor,2)\neq 0) \end{matrix}\right.$

式子中, $\left \lfloor x \right \rfloor$ 表示不大于x的整数， $mod\left ( \left \lfloor x \right \rfloor,2 \right )$ 表示对2取余数。

代码实现如下：


def stair(x):
    n=math.floor(x)
    if n%2==0:
        return math.floor(x/2.0)
    else:
        return (x-n)+math.floor(x/2.0)

2、hardtan激活函数

如图2所示，hardtan激活函数是通过以直代曲近似实现tan函数，其计算公式如下：

$hardtan(x)=\left\{\begin{matrix} -1.0 &(x<-1.0) \\ 1.0 &(x>1.0) \\ x & (other)\end{matrix}\right.$

代码实现如下：

def hardtan(x):
    if x<-1.0:
        return -1.0
    elif x>1.0:
        return 1.0
    else:
        return x

3、linear激活函数

linear激活函数是线性激活函数，输入x输出也是x，其函数图像如图3所示。

代码实现：

def linear(x):
    return x

4、logistic激活函数

logistic激活函数又叫sigmoid激活函数，如图4所示，logistic函数可以结果映射到0到1之间。其计算公式如下：

$logistic(x)=\frac{1.0}{1.0+e^{-x}}$

代码实现如下：

def logistic(x):
    return 1.0/(1.0+math.exp(-x))

5、loggy激活函数

如图5所示，loggy的函数图像跟logistic有点相似，也是把输出映射到0到1之间。其计算公式如下：

$loggy(x)=\frac{2.0}{1+e^{-x}}-1$

代码实现：

def loggy(x):
    return 2.0/(1.0+math.exp(-x))-1.0

6、relu激活函数

relu激活函数为线性整流函数，目的是把小于0的数截取掉，其函数图像如图6所示，其计算公式如下：

$relu(x)=\left\{\begin{matrix} 0 & (x<0)\\ x & (x\geqslant 0) \end{matrix}\right.$

代码实现如下：

def relu(x):
    return x*(x>0)

7、relu6激活函数

relu6和relu一样，也是线性整流函数，不同的是他对大于6的数进行了截断，其函数图像如图7所示，其计算公式如下：

$relu6(x)=\left\{\begin{matrix} 0.0 & (x<0)\\ 6.0& (x>6)\\ x& (0\leq x\leq 6) \end{matrix}\right.$

代码实现如下：

def relu6(x):
    if x<0:
        return 0.0
    elif x>6:
        return 6.0
    else:
        return x

8、elu激活函数

elu激活函数的图像如图8所示，其计算公式如下：

$elu(x)=\left\{\begin{matrix} x & (x\geq 0)\\ e^{x}& (x<0) \end{matrix}\right.$

代码实现：

def elu(x):
    return (x>=0)*x+(x<0)*(math.exp(x)-1.0)

9、selu激活函数

selu激活函数如图9所示，其计算公式如下：

$selu(x)=\left\{\begin{matrix} 1.0507*x& (x\geq 0)\\ 1.0507* 1.6732* (e^{x}-1.0)& (x<0) \end{matrix}\right.$

代码实现：

def selu(x):
    return (x>=0)*1.0507*x+(x<0)*1.0507*1.6732*(math.exp(x)-1.0)

10、relie激活函数

相比于relu激活函数，relie激活函数对于小于零的数据并不会直接截取为0，二是乘以一个小的系数，这个系数为0.01。其函数图像如图10所示，其计算公式如下：

$relie(x)=\left\{\begin{matrix} 0.01*x & (x<0)\\ x& (x\geq 0) \end{matrix}\right.$

代码实现：

def relie(x):
    if x>0:
        return x
    else:
        return 0.01*x

11、ramp激活函数

如图11所示为ramp激活函数，其计算公式如下：

$ramp(x)=\left\{\begin{matrix} x+0.1* x & (x>0)\\ 0.1*x& (x\leq 0) \end{matrix}\right.$

代码实现：

def ramp(x):
    return x*(x>0)+0.1*x

12、leaky激活函数

如图12所示为leaky激活函数的图像，它与relie函数有点像，它的斜率系数要比relie激活函数要大，其计算公式如下：

$leaky(x)=\left\{\begin{matrix} x & (x\geq 0)\\ 0.1* x& (x<0) \end{matrix}\right.$

代码实现如下：

def leaky(x):
    if x<0:
        return 0.1*x
    else:
        return x

13、tanh激活函数

tanh激活函数的图像如图13所示，它的取值范围是[-1,1]，其计算公式如下：

$tanh(x)=\frac{2.0}{1.0+e^{-2* x}}-1$

代码实现：

def tanh(x):
    return 2.0/(1.0+math.exp(-2.0*x))-1.0

14、gelu激活函数

gelu激活函数的图像如图14所示，其计算公式如下：

$gelu(x)=0.5* x(1.0+tanh(0.797885*x+0.035677*x^{3.0}))$

式中，tanh为上文提到过的激活函数。

代码实现如下：

def gelu(x):
    return 0.5*x*(1.0+math.tanh(0.797885*x+0.035677*math.pow(x,3.0)))

15、softplus激活函数

softplus激活函数的图像如图15所示，其计算公式如下：

$softplus(x,threshold)=\left\{\begin{matrix} x& (x>threshold)\\ e^{x}& (x<-threshold) \end{matrix}\right.$

代码实现：

def softplus(x,threshold):
    if x>threshold:
        return x
    elif x<-threshold:
        return math.exp(x)
    else:
        return math.log(math.exp(x)+1.0)

16、plse激活函数

图16位plse激活函数的图像，其计算公式如下：

$plse(x)=\left\{\begin{matrix} 0.01*(x+4.0) &(x<-4) \\ 0.01*(x-4.0)+1.0&(x>4) \\ 0.125*x+0.5& (-4\leq x\leq 4) \end{matrix}\right.$

代码实现：

def plse(x):
    if x<-4:
        return 0.01*(x+4.0)
    elif x>4:
        return 0.01*(x-4.0)+1.0
    else:
        return 0.125*x+0.5

17、lhtan激活函数

图17是lhtan激活函数的图像，其计算公式为：

$lhtan(x)=\left\{\begin{matrix} 0.001*x & (x<0)\\ 0.001*(x-1.0)+1.0&(x>1) \\ x& (0\leq x\leq 1) \end{matrix}\right.$

代码实现：

def lhtan(x):
    if x<0:
        return 0.001*x
    elif x>1:
        return 0.001*(x-1.0)+1.0
    else:
        return x

18、swish激活函数

图18是swish激活函数的图像，其计算公式如下：

$swish(x)=x*logistic(x)$

式中,logistic为上文所提到的激活函数，也叫sigmoid激活函数。

代码实现：

def logistic(x):
    return 1.0/(1.0+math.exp(-x))

def swish(x):
    return x*logistic(x)

19、mish激活函数

mish激活函数的图像如图19所示，其计算公式如下：

$mish(x)=x*tanh(softplus(x,20.0))$

式中tanh，softplus均为上文描述过的激活函数。

代码实现如下：

def softplus(x,threshold):
    if x>threshold:
        return x
    elif x<-threshold:
        return math.exp(x)
    else:
        return math.log(math.exp(x)+1.0)

def tanh(x):
    return 2.0/(1.0+math.exp(-2.0*x))-1.0

def mish(x):
    return x*tanh(softplus(x,20.0))

20、hardmish激活函数

hardmish激活函数为mish激活函数的近似形式，它的图像如图20所示，其计算公式如下：

$hardmish(x)=\left\{\begin{matrix} x & (x>0)\\ x*x*0.5+x&(-2< x\leq 0) \\ 0& (x\leq -2) \end{matrix}\right.$

代码实现：

def hardmish(x):
    if x>0:
        return x
    elif x>-2:
        return x*x*0.5+x
    else:
        return 0