机器学习和深度学习——归一化处理

一、机器学习中的归一化

1、归一化作用

（1）归一化后加快了梯度下降求最优解的速度
（2）归一化有可能提高精度

详解：
（1）归一化后加快了梯度下降求最优解的速度

\qquad a.左图是未进行归一化的等高线，从左图中可以看出两个特征变化区间相差大，其形成的等高线非常尖，此时使用梯度下降法寻找最优解时，很有可能走“之”字型路线，从而导致需要迭代很多次才能收敛；
\qquad b.右图，对数据进行归一化处理，此时两个特征的等高线显得平滑，在进行梯度下降能较快的收敛；
\qquad 因此如果机器学习模型使用梯度下降求最优解时，归一化非常有必要，否则需要花费更多的迭代的次数才能收敛甚至不能收敛。

（2）归一化可能提高精度
一些分类器需要计算样本之间的距离（例如欧式距离），例如KNN。如果一个特征值域范围非常大，那么此时距离的计算就取决于这个特征，但与实际情况可能不符合，比如实际情况可能治愈范围小的特征更重要。

2、归一化的方法

（1）线性归一化
（2）标准差归一化：特征减去均值除以方差
（3）非线性归一化

二、深度学习中的BN层、LN层

1.BN层和LN层

\qquad