八股文——机器学习基础归一化

为什么要做归一化？

不同特征之间往往量纲不同，变化区间的数量级也不同，这就会导致某些指标可能会被忽略，影响最终结果

为了消除特征之间的量纲影响，需要进行归一化处理，解决特征之间的可比性，使各个特征之间处于同一数量级，可以直接进行对比评价

归一化有哪些类型？

1.最大-最小归一化

适用于数据较为集中

缺点：如果 最大最小值不稳定，归一化后的结果也会不稳定

2.零均值归一化

处理后的数据满足正态分布

3.非线性归一化

适用于数据分化较大的情况，有些数据很大，有些数据很小。用log，指数，正切等函数对数据原始值进行映射

为什么要做批量归一化？

深度网络的训练是一个很复杂的过程，随着训练的进行，前一层参数的调整使得后一层输入数据分布发生改变，各层在训练的过程中就需要不断地改变以适应学习这种新的数据分布。训练中模型参数的更新很容易导致后面层输入分布的变化，只要前面层发生微小的改变，在后面几层就会被积累放大下去，最终导致靠近输出层的输出剧烈抖动。不仅会增加模型训练的复杂性，影响网络的训练速度而且增加了过拟合的风险。

批量归一化的优点

1.增加了损失函数曲面的平滑性，加速模型收敛，可以使用初始化很大的学习率

2.大大提高模型的速度，提高网络泛化性能

3.数据批量归一化后相当于只使用s型激活函数的线性部分，可以缓解s型函数反向传播的梯度消失问题

批量归一化的工作原理