6、监督学习算法与神经网络详解

监督学习算法与神经网络详解

1. 激活函数

在人工神经元中，有多种激活函数，不同的激活函数具有不同的特点和应用场景。
- Sigmoid 函数 ：其表达式为 (y = \frac{1}{1 + e^{-x}})。该函数曲线在零点附近的斜率较陡，常用于多层感知器（MLP）中作为激活函数。它的输出值是介于 0 和 1 之间的连续值。
- 高斯函数 ：曲线如图所示，(x) 轴的值是输入向量 (\mathbf{x}) 与中心向量 (\mathbf{c}) 之差的范数。其表达式为 (y = \exp\left(\frac{|\mathbf{x} - \mathbf{c}|}{2\sigma^2}\right))，其中 (\sigma^2) 是扩展参数，作为外部给定的参数。当输入向量与中心向量一致时，函数值达到最大。
- 其他激活函数 ：
- 阈值函数的输出是二进制值，即 0 或 1。
- 双曲函数的输出是介于 -1 和 1 之间的连续值，也可作为激活函数。

激活函数	输出值范围	特点	应用场景
阈值函数	0 或 1	输出为二进制值	简单分类场景
Sigmoid 函数