深度学习日常学习记录——激活函数

深度学习日常学习记录——激活函数

---

---

前言

真实世界中的万物是由复杂数学公式来表征的，由光学、电学、物理学、化学、生物学等众多学科组成。深度神经网络层之间为线性连接，增加网络的广度和深度都无法增加网络非线性计算能力。因此，为了让神经网络更好的理解世界，需要设计激活函数来拟合复杂公式

一、激活函数的作用？

• 非线性表达
• 防止梯度消失
• 加速模型收敛

二、激活函数分类

序号	激活函数	公式	优点	缺点
1	sigmoid函数	$\sigma (x)=\frac{1}{1+e^{-x}}$		梯度消失，产生饱和神经元；非零中心，收敛缓慢、无法体现个体神经元收敛
2	tanh函数	$tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$	以零为中心，加速收敛	梯度消失，产生饱和神经元
3	RELU函数	$f(x)=\{\begin{array}{ll}x& \text{if}x>0\\ 0& \text{if}x\le 0\end{array}$	计算高效，缓解梯度消失	dead神经元，不以零为中心，给后一层神经元产生偏移
4	Leaky RELU函数	$f(x)=\{\begin{array}{ll}x& \text{if}x>0\\ \gamma x& \text{if}x\le 0\end{array}$	缓解dead 神经元问题
5	ELU函数	$f(x)=\{\begin{array}{ll}x& \text{if}x>0\\ \alpha (e^x-1)& \text{if}x\le 0\end{array}$	没有dead 神经元问题，正负平均，以零为中心,有饱和域	计算量大
6	SeLU函数	$f(x)=\gamma \{\begin{array}{ll}x& \text{if}x>0\\ \alpha (e^x-1)& \text{if}x\le 0\end{array}$	放大input的变化
7	Swish函数	$\sigma (x)=x\times sigmoid(\beta x)$	自门控激活函数
8	Maxout函数		三维求取最大输出
9	Softplus函数

三、激活函数使用

激活函数	LaTeX 公式	PyTorch 调用方式	特性说明
Sigmoid	$$\sigma (x)=\frac{1}{1+e^{-x}}$$	nn.Sigmoid()	输出范围 (0,1)，适合概率输出
Tanh	$$\tanh (x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$	nn.Tanh()	输出范围 (-1,1)，零中心化
ReLU	$$\text{ReLU}(x)=\max (0,x)$$	nn.ReLU()	简单高效，但负区梯度为 0
LeakyReLU	$$\text{LeakyReLU}(x)=\{\begin{array}{ll}x& x\ge 0\\ \alpha x& x<0\end{array}$$	nn.LeakyReLU(alpha=0.01)	缓解神经元死亡，需调参 alpha
ELU	$$\text{ELU}(x)=\{\begin{array}{ll}x& x\ge 0\\ \alpha (e^x-1)& x<0\end{array}$$	nn.ELU(alpha=1.0)	平滑负区，缓解梯度消失
SELU	$$\text{SELU}(x)=\lambda \{\begin{array}{ll}x& x\ge 0\\ \alpha (e^x-1)& x<0\end{array}$$ （$\lambda \approx 1.0507$, $\alpha \approx 1.6733$）	nn.SELU()	自归一化网络专用，需特定初始化
Swish	$$\text{Swish}(x)=x\cdot \sigma (\beta x)$$	手动实现：x * torch.sigmoid(beta * x)	平滑非单调，实验表现优
Maxout	$$\text{Maxout}(x)=\underset{i\in [1,k]}{\max }(w_i^{T}x+b_i)$$	自定义实现（无内置）	拟合能力强，但参数量大
Softplus	$$\text{Softplus}(x)=\frac{1}{\beta }\log (1+e^{\beta x})$$	nn.Softplus(beta=1)	平滑 ReLU，处处可导