什么是归一化，它与标准化的区别是什么？

归一化主要是应用于没有距离计算的地方上,标准化则是使用在不关乎权重的地方上,因为各自丢失了距离信息和权重信息
归一化的好处：
1.避免数值问题。 2.使网络快速的收敛。 3.样本数据的评价标准不一样，需要对其量纲化，统一评价标准

4.bp中常采用sigmoid函数作为转移函数，归一化能够防止净输入绝对值过大引起的神经元输出饱和现象 。

5.保证输出数据中数值小的不被吞食 。

什么时候用归一化，什么时候用标准化：

1.如果对输出结果范围有要求，用归一化

2.如果数据较为稳定，不存在极端的最大最小值，用归一化

3.如果数据存在异常值和较多噪音，用标准化，可以间接通过中心化避免异常值和极端值的影响

为了形象的说明两者的区别，可以如下这么理解
所谓“归一”，注意“一”，就是把数据归到（0，1）这个区间内。
常用的方法有： min-max归一化y=(x-min)/(max-min)

所谓“标准”，就是标准正态分布，把数据转换成标准正态分布。
常用的方法有：z-score标准化，即零-均值标准化，y=(x-μ)/σ

深度学习归一化问题：
好处：
1、缩小输入空间，从而降低调参难度；
2、防止梯度爆炸/消失，从而加速网络收敛。
BN因为在前馈的时候缩小了输入空间，而前馈时的输入空间又直接影响了反馈计算时的梯度状况。所以说