4、激活函数全解析

激活函数全解析

在神经网络中，为了学习非线性目标函数，常常会使用非线性的激活函数。不同的激活函数选择，能够定义出不同类型的神经网络。常见的激活函数主要有线性函数、阶跃函数、Sigmoid 函数和曲棍球棒型函数等，下面我们来详细了解一下。

1. 线性函数

线性函数主要用于多层网络的输出层，使用具有线性激活函数的神经元进行计算，等同于进行线性回归。常见的线性函数如下：
- 线性函数 ：这是最简单的激活函数，公式为 (f(x) = kx)（(k > 0) 为常数），此时神经元的放电率是恒定的，即 (f’(x) = k)。
- 恒等函数 ：当 (k = 1) 时，线性函数就变成了恒等函数 (f(x) = x)，常用于线性神经元。

2. 阶跃函数

阶跃函数受到生物学启发，通过向上跳跃来简单模拟神经元的激活。常见的阶跃函数有：
- 阈值阶跃函数 ：也被称为二元阶跃函数、单位阶跃函数或 Heaviside 函数，其表达式为：
[
H(x) =
\begin{cases}
0, & \text{if } x < 0 \
1, & \text{if } x \geq 0
\end{cases}
]
该函数在 (x = 0) 处不可微，但其广义导数是 Dirac 函数，即 (H’(x) = \delta(x))，其中 (\delta(x)) 是集中在原点的单位质量的概率分布测度。
- 双极阶跃函数 <