神经网络中常见的激活函数Sigmoid、Tanh和ReLU

激活函数在神经网络中起着至关重要的作用，它们决定了神经元的输出是否应该被激活以及如何非线性地转换输入信号。不同的激活函数适用于不同的场景，选择合适的激活函数可以显著影响模型的性能和训练效率。以下是三种常见的激活函数：Sigmoid、Tanh 和 ReLU 的详细介绍。

1. Sigmoid 激活函数

公式：

图像：

特点：

• 输出范围：(0, 1)，将输入压缩到0到1之间。
• 用途：常用于二分类问题中的输出层，因为它的输出可以解释为概率值（0表示负类，1表示正类）。
• 优点：
  • 输出具有良好的可解释性，适合用于需要概率输出的任务。
• 缺点：
  • 梯度消失问题：当输入较大或较小时，Sigmoid 函数的导数接近于0，导致反向传播时梯度几乎为零，使得权重更新非常缓慢，甚至停止更新。这在深度网络中尤为严重。
  • 非零中心化：Sigmoid 函数的输出不是以0为中心的，这会导致后续层的权重更新方向不一致，影响训练效率。<