激活函数notes

常用激活函数

激活函数的作用：提供非线性

1.Sigmoid
输出范围在 (0, 1)，适合二分类问题。公式为：
$$\sigma (x)=\frac{1}{1+e^{-x}}$$
缺点：易导致梯度消失，输出非零中心化。

2.Tanh
输出范围在 (-1, 1)，零中心化。公式为：
$$\tanh (x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$
梯度消失问题仍存在，但优于Sigmoid。

3.ReLU
计算高效，缓解梯度消失。公式为：
$$\text{ReLU}(x)=\max (0,x)$$
缺点：神经元可能“死亡”（输出恒为0）。

4.Leaky ReLU
解决ReLU的死亡问题，引入微小负斜率（如0.01）。公式为：
$$\text{LeakyReLU}(x)=\{\begin{array}{ll}x& \text{if }x\ge 0\\ \alpha x& \text{if }x<0\end{array}$$

5.Parametric ReLU (PReLU)
将Leaky ReLU的斜率 $\alpha$ 作为可学习参数。

6.ELU（Exponential Linear Unit）
负值区域平滑，缓解死亡问题。公式为：
$$\text{ELU}(x)=\{\begin{array}{ll}x& \text{if }x\ge 0\\ \alpha (e^x-1)& \text{if }x<0\end{array}$$

7.Swish
谷歌提出的自门控激活函数。公式为：
$$\text{Swish}(x)=x\cdot \sigma (\beta x)$$
其中 $\sigma$ 为Sigmoid，$\beta$ 可学习或固定。

8.GELU（Gaussian Error Linear Unit）
常用于Transformer模型。公式为：
$$\text{GELU}(x)=x\cdot \Phi (x)$$
$\Phi (x)$ 是标准正态分布的累积分布函数。

9.Softmax
多分类任务中输出概率分布。公式为：
$$\text{Softmax}(x_i)=\frac{e^{x_i}}{{\sum }_j{e}^{x_j}}$$

选择建议

• 隐藏层：优先使用ReLU或其变体（Leaky ReLU、Swish）。
• 二分类输出层：Sigmoid。
• 多分类输出层：Softmax。
• 梯度消失敏感场景：尝试GELU或Swish。