激活函数定义、作用及分类

1 激活函数

参考 深度学习笔记：如何理解激活函数？（附常用激活函数） - 知乎 (zhihu.com)

1 定义作用

激活函数是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式如非线性函数

输入的input经过一系列加权求和后作用于另一个函数。

2 常见激活函数

• sigmoid
• tanh
• relu

3 sigmoid函数

1 公式

​

2 求导

​

3 作用

将模型的原始输出映射到0-1的概率值，给模型增添非线性功能

4 Sigmoid 不足

梯度消失：神经网络使用 Sigmoid 激活函数进行反向传播时，输出接近 0 或 1 的神经元其梯度趋近于 0。因此，这些神经元的权重不会更新。与此类神经元相连的神经元的权重也更新得很慢。

5 梯度消失

在反向传播过程中，梯度值随着层数增加而减小，导致参数不再更新，这就是梯度消失现象。

练习1.关于梯度下降算法，以下说法正确的是
A. 随机梯度下降算法是每次考虑单个样本进行权重更新
B. Mini-Batch梯度下降算法是批量梯度下降和随机梯度下降的折中
C. 批量梯度下降算法是每次考虑整个训练集进行权重更新
D. 以上都对

4 ReLU相对sigmoid的优势

1）当输入为负数时，ReLU的输出为0，减少了参数的数量，降低了过拟合的风险。
2)在正数区间导数为1，梯度值不会随着层数增加而减小

解决了权重衰减（sigmoid）和梯度爆炸（梯度大于一的重复迭乘）的问题！！