深度学习基础问题

一、Sigmoid激活函数和梯度消失问题

1、Sigmoid函数

梯度消失：sigmoid函数只有在0附近梯度值正常，在两侧都接近于0，出现梯度消失

ReLU函数在大于0的部分梯度为常数，所以不会产生梯度消失，具有较好的激活性

注：梯度可以理解为斜率

图片参考： (1条消息) Sigmoid和Relu激活函数的对比_bl128ve900的博客-优快云博客_sigmoid和relu

二、批归一化(Batch Normalization)

做法：使中间层输出结果标准化，网络层的输出具有稳定的分布；

优点：

• 可以是学习快速进行；

• 可以降低模型对初始值的敏感性；

• 可以从一定程度上抑制过拟合；

标准化(样本均值+方差)后 对数据做缩放和平移

1. 样本均值：对所有样本的同一个通道（即同一特征）的像素点计算均值

2. 方差：对所有样本的同一