常见激活函数介绍

阶跃型函数

$sgn$函数

$sgn$函数定义为：
$$sgn(x)=\{\begin{array}{ll}1,& x\ge 0;\\ 0,& x<0.\end{array}$$
$sgn(x)$通过将输入转换为输出值$0$和$1$，来表示神经元的抑制($0$)和兴奋($1$)。

然而，由于$sgn(x)$具有不连续、不光滑等不太好的性质，因此实际常用$Sigmoid$型函数做为激活函数。

$Sigmoid$型函数

$Sigmoid$型函数是指一类$S$型曲线函数，为两端饱和函数。常用的$Sigmoid$型函数有$Logistic$函数和$Tanh$函数。

饱和
对于函数$f(x)$，若$x\to -\infty$时，其导数$f^{\prime }(x)\to 0$，则称其为左饱和。
若$x\to +\infty$时，其导数$f^{\prime }(x)\to 0$，则称其为右饱和。
当同时满足左、右饱和时，就称为两端饱和。

$Logistic$函数

$Logistic$函数定义为：
$$\sigma (x)=\frac{1}{1+e^{-x}}$$
$Logistic$函数将输入映射为区间$(0,1)$之间的输出值，当输入值在$0$附近时，$Sigmoid$型函数近似为线性函数；当输入值靠近两端时，对输入进行抑制。输入越小，越接近于0；输入越大，越接近于1。这样的特点也和生物神经元类似，对一些输入会产生兴奋(输出为1)，对另一些输入产生抑制(输出为0)。和感知器使用的阶跃激活函数相比，$Logistic$函数是连续可导的，其数学性质更好。
函数图如下：

$Tanh$函数

$Tanh$函数定义为：
$$tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$
$Tanh(x)$函数将输入映射为区间$(-1,1)$上的输出值，可以看作是放大并平移的$Logistic$函数：
$$tanh(x)=2\sigma (2x)-1$$
函数图如下：

$Tanh$函数的输出是零中心化的(Zero-Centered)，而$Logistic$函数的输出恒大于0. 非零中心化的输出会使得其后一层的神经元的输入发生偏置偏移(Bias Shift)，并进一步使得梯度下降的收敛速度变慢。

$Hard-Logistic$函数和$Hard-Tanh$函数

$Logistic$函数和$Tanh$函数都是$Sigmoid$型函数，具有饱和性，但是计算开销较大。因为这两个函数都是在中间(0 附近)近似线性，两端饱和。因此，这两个函数可以通过分段函数来近似。

$Hard-Logistic$函数

以$Logistic$函数为例，其导数为${\sigma }^{\prime }(x)=\sigma (x)(1-\sigma (x))$。$Logistic$函数在$0$附近的一阶泰勒展开(Taylor expansion) 为：
g l ( x ) ≈ σ (