11、深度学习激活函数与多层感知机学习规则详解

深度学习激活函数与多层感知机学习规则详解

1. 特殊的ReLU激活函数变体

在深度学习中，ReLU激活函数有一些特殊的变体。当β设置为 -1 时，激活函数为绝对值 ReLU，此时 y = |z|；当β设置为一个小的正值（通常约为 0.01）时，激活函数被称为 Leaky ReLU。

2. Tanh激活函数

Tanh激活函数的表达式为：
[y = \frac{e^{z}-e^{-z}}{e^{z}+e^{-z}}]
其中，z = wᵀx + b 是 tanh 激活函数的净输入。其具有以下特性：
- 当净输入 z 是一个大的正数时，e⁻ᶻ → 0，所以 y → 1。
- 当净输入 z 是一个大的负数时，eᶻ → 0，所以 y → -1。
- 当净输入 z 为 0 时，e⁻ᶻ = 1，所以 y = 0。

由此可见，tanh 激活函数的输出值范围在 -1 到 +1 之间。与 sigmoid 激活函数在输出接近 0 时会出现梯度消失问题不同，tanh 激活函数在输出 -1 和 +1 时饱和，且在输出接近 0 时具有明确的梯度，因此可以避免在输出 0 附近出现梯度消失的问题。

3. SoftPlus激活函数

SoftPlus 激活函数对输入 z 的定义如下：
[f(z) = \log(1 + e^{z})]
其关于输入的梯度就是输入的 sigmoid 激活函数：
[\frac{\partial f(z)}{\partial z} = \frac{1}{1 + e^{-z}}]

然而，当 z 接近 0 或 z 过大时，SoftP