深度学习之激活函数——RReLU

随机修正整流线性单元(RReLU)，全称Randomized ReLU，是ReLU的延伸版，也是为了解决dead relu神经元坏死现象而提出的一种激活函数。

函数表达式

$$\begin{gathered} f(x)=\{\begin{array}{l}\alpha x,x\le 0\\ x,x>0\end{array} \\ 其中\alpha 满足U(m,n) \end{gathered}$$

当$x<0$时，函数值为$f(x)=\alpha x$，但是$\alpha$初始是一个随机变量，随后不断进行修正，其取值范围为$[m,n]$；当$x>0$时，函数值为$f(x)=x$

函数图像

如上图，左侧函数在黄色区域的范围内进行选择。

函数特性

优点：

• 引入了随机因素，可以减少过拟合的风险