21、神经网络：从激活函数到实际应用

神经网络：从激活函数到实际应用

1. 激活函数

激活函数是人工神经元处理传入信息并将其在整个网络中传递的机制。它模仿了生物神经元的设计。在生物神经元中，激活函数可看作是对输入信号求和，并判断是否达到激发阈值的过程。若达到阈值，神经元传递信号；否则，不做任何操作。在人工神经网络（ANN）中，这被称为阈值激活函数，只有当达到指定的输入阈值时，才会产生输出信号。

1.1 常见激活函数

• 阈值激活函数 ：当输入信号总和至少为零时，神经元激发。因其形状类似阶梯，有时也被称为单位阶跃激活函数。不过，由于其局限性，在人工神经网络中很少使用。
• Sigmoid激活函数 ：是最常用的替代方案之一，输出值范围在0到1之间，且具有可微性，这对于创建高效的ANN优化算法至关重要。

不同激活函数的主要区别在于输出信号范围，常见的有(0, 1)、(-1, +1)或(-inf, +inf)。选择合适的激活函数可以使神经网络更适合特定类型的数据，构建专门的神经网络。例如，线性激活函数得到的神经网络类似于线性回归模型，而高斯激活函数则会产生径向基函数（RBF）网络。

1.2 激活函数的问题与解决方法

许多激活函数影响输出信号的输入值范围相对较窄。以Sigmoid函数为例，当输入信号低于 -5 或高于 +5 时，输出信号几乎总是 0 或 1，这种信号压缩会导致动态输入的高低端出现饱和信号。为解决这个问题，需要对所有神经网络输入进行转换，使特征值落在 0 附近的小范围内，通常采用标准化或归一化特征的方法。

以