【深度学习pytorch-24】sigmoid激活函数

超华东算法王

已于 2025-02-15 11:28:38 修改

阅读量932

点赞数 17

分类专栏： DL-pytorch 文章标签：深度学习 pytorch 人工智能

于 2025-02-15 11:25:43 首次发布

本文链接：https://blog.youkuaiyun.com/m0_69378371/article/details/145648111

版权

105 篇文章

订阅专栏

Sigmoid 激活函数的数学表达式为：

$\frac{1}{1 + e^{-x}}$

其中：

Sigmoid 函数将输入值映射到 ( (0, 1) ) 之间，输出可以解释为概率值，因此常用于二分类问题的输出层。

Sigmoid 函数的图像呈现为平滑的 S 形曲线，输出值位于 ( (0, 1) ) 之间。随着输入值的增大，函数的输出逐渐趋近于 1；而随着输入值的减小，输出逐渐趋近于 0。

梯度消失问题：当输入值非常大或非常小时，Sigmoid 函数的梯度非常小（接近于 0）。这种梯度消失现象会导致深层网络在训练时更新非常缓慢，从而减缓网络的收敛速度，甚至无法有效训练深层网络。
计算效率低：Sigmoid 函数的计算涉及指数运算，相对较慢，尤其在计算大量样本时。
输出不对称：Sigmoid 的输出范围是 ( (0, 1) )，如果我们希望网络的输出能够覆盖更大的范围，Sigmoid 可能不适合。

与其他常用的激活函数（如 ReLU、Tanh）相比，Sigmoid 有以下不同点：

Sigmoid vs ReLU：
- Sigmoid：适合输出为概率的任务，且对负输入有输出（介于 0 和 1 之间）。但在较大输入时会出现梯度消失问题。
- ReLU：广泛用于隐藏层，解决了梯度消失问题，并且计算效率较高。但 ReLU 对负输入输出为 0，这可能会导致部分神经元“死亡”。
Sigmoid vs Tanh：
- Sigmoid：输出范围为 ( (0, 1) )，更适合用于二分类的概率输出。
- Tanh：输出范围为 ( (-1, 1) )，对称性更好，但也存在梯度消失问题。

Sigmoid 激活函数常用于：

二分类问题的输出层：Sigmoid 函数常用于二分类问题的输出层。在这种情况下，输出层会产生一个介于 0 和 1 之间的概率值，表示样本属于某一类的概率。若输出大于 0.5，则预测为类别 1，若小于 0.5，则预测为类别 0。

示例：如果一个模型用于判断某个邮件是否是垃圾邮件，Sigmoid 输出可能是 0.8，意味着该邮件是垃圾邮件的概率为 80%。
神经网络中的激活函数：尽管现在很多深度神经网络的隐藏层不再使用 Sigmoid 激活函数，但在早期的神经网络中，Sigmoid 是隐藏层的常用激活函数。

Sigmoid 函数在训练过程中会遇到以下问题：

梯度消失：在输入值很大或很小的情况下，Sigmoid 的导数会非常小，导致反向传播时梯度几乎为零，从而影响模型的训练效率。

例如，当输入非常大时，Sigmoid 函数的输出接近 1，梯度几乎为 0；当输入非常小（负值很大）时，Sigmoid 函数的输出接近 0，梯度也接近 0。
Vanishing Gradient Problem（梯度消失问题）在深层网络中尤为明显，因为反向传播时梯度会随着层数的增加而逐渐变小，导致参数更新缓慢。