深度学习DAY3:激活函数

激活函数映射——引入非线性性质

h =（Σ(W * X)+b）

y=σ（h）

将h的值通过激活函数σ映射到一个特定的输出范围内的一个值，通常是[0, 1]或[-1, 1]

1 Sigmoid激活函数

逻辑回归LR模型的激活函数

Sigmoid函数（Logistic函数）将输入值映射到0和1之间的范围，具有平滑的S形曲线。它在二元分类问题中常用，因为它可以将输出解释为概率，表示某个事件发生的概率。

在特征相差比较复杂或是相差不是特别大时效果比较好。

在深度学习中，由于sigmoid存在梯度消失现象，因此使用ReLU。

优点

平滑、易于求导。

缺点

• 计算量大：反向传播求误差梯度时，求导涉及除法
• 梯度消失：反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练。
• 输出恒为正：sigmoid函数的输出恒为正值，不是以零为中心