归一化

概念

归一化就是把所有数据都转化成[0,1]或者[-1,1]之间的数，其目的是为了取消各维数据之间的数量级差别，避免因为输入输出数据数量级差别大而造成网络预测误差过大。

好处

归一化有如下好处，即
1)归一化后加快了梯度下降求最优解的速度，也即加快训练网络的收敛性；
2)归一化有可能提高精度

归一化的对比

归一化的目的就是使得预处理的数据被限定在一定的范围内(比如[0,1]或者[-1,1])，从而消除奇异样本数据导致的不良影响。如图里的数据X6

奇异样本数据

奇异样本数据的存在会引起训练时间增大，同时也可能导致无法收敛，因此，当存在奇异样本数据时，在进行训练之前需要对预处理数据进行归一化；反之，不存在奇异样本数据时，则可以不进行归一化。

归一化的类型

1：线性归一化

线性归一化也被称为最小-最大规范化；离散标准化，是对原始数据的线性变换，将数据值映射到[0,1]之间。

def MaxMinNormalization(x,Max,Min):
    x = (x - Min) / (Max - Min);
    return x

2：零-均值归一化(Z-score标准化)

Z-score标准化也被称为标准差标准化，经过处理的数据的均值为0，标准差为1。其转化公式为：
其中u为原始数据的均值，delta为原始数据的标准差，是当前用的最多的标准化公式

def Z_ScoreNormalization(x,mu,sigma):
    x = (x - mu) / sigma;
    return x

3：非线性归一化

这个方法包括log，指数，正切
适用范围：经常用在数据分析比较大的场景，有些数值很大，有些很小，将原始值进行映射。