Datawhale X 李宏毅苹果书AI夏令营—进阶 task3

Batch Normalization批量归一化：它是一种用于提高人工神经网络性能和稳定性的技术。BN通过对神经网络中每一层的输入进行标准化，使其更易于训练，减少了梯度消失和梯度爆炸等问题，并且可以加速神经网络的训练速度。

BN 层使训练更快，并允许更广泛的学习率，而不会影响训练收敛。

当输入的特征，每一个维度的值，它的范围差距很大的时候，我们就可能产生像这样子的误差表面，就可能产生不同方向，斜率非常不同，坡度非常不同的误差表面所以怎么办呢，有没有可能给特征里面不同的维度，让它有同样的数值的范围。如果我们可以给不同的维度，同样的数值范围的话，那我们可能就可以制造比较好的误差表面，让训练变得比较容易一点其实有很多不同的方法，这些不同的方法往往就合起来统称为特征归一化（feature normalization）。

常见的归一化

Z 值归一化：z-score考虑到了不同样本对表达量的影响，计算z-score时，消除到了表达的平均水平和偏离度的影响。转换后表达量符合正态分布分布，Z-score只是一个临界值，是标准化的结果，本身没有意义，有意义的在于在标准正态分布模型中它代表的概率值。 所以只要知道Z值， 查