5、深度学习中的激活函数与代价函数解析

深度学习中的激活函数与代价函数解析

在深度学习中，激活函数和代价函数是两个至关重要的概念。激活函数为神经网络引入非线性特性，使网络能够处理复杂的决策边界和近似非线性函数；代价函数则用于衡量网络预测与目标之间的接近程度，是网络参数优化的关键依据。

1. 激活函数

每个神经网络单元都会使用一个激活函数来处理输入信号。激活函数的重要性在于为网络引入非线性，因为线性激活函数只能产生线性输出，仅适用于线性分类或线性回归问题，具有很大的局限性。而非线性激活函数则能让网络处理更复杂的任务。

1.1 挤压函数（Squashing Functions）

挤压函数是一类特殊的激活函数，满足特定条件：
- 定义：函数 $\phi: R \to [0, 1]$ 为挤压函数，需满足：
- 非递减性：对于 $x_1, x_2 \in R$，若 $x_1 < x_2$，则 $\phi(x_1) \leq \phi(x_2)$。
- 极限条件：$\lim_{x \to -\infty} \phi(x) = 0$，$\lim_{x \to \infty} \phi(x) = 1$。
- 示例：
- 阶跃函数 $H(x) = 1_{[0, \infty)}(x)$。
- 斜坡函数 $\phi(x) = x1_{[0, 1]}(x) + 1_{(1, \infty)}(x)$。
- 所有单调的 S 型函数都是挤压函数，典型的如逻辑函数。
- Gallant 和 White（1988）提出的余弦挤压函数 $\phi(x) = \frac{1}{2}(1 + \cos(x + \frac{3\pi}{2}))1_