batchnorm(特征数据纵向标准化，全连接使用) LayerNorm(特征数据横向的规范化，nlp,rnn使用) WeightNorm(对参数的规范化) 余弦Norm(对w*x的规范化)

详解深度学习中的Normalization，BN/LN/WN

内部协方差漂移

深度神经网络很难训练。因为深度神经网络中网络层数太多，在训练过程中，模型参数的更新会引起靠近输出侧各层的输出结果发生剧烈的变化。Google 将这一现象总结为Internal Covariate Shift（ICS）内部协方差漂移

ICS 会导致什么问题？

简而言之，每个神经元的输入数据不再是“独立同分布”。

其一，上层参数需要不断适应新的输入数据分布，降低学习速度。

其二，下层输入的变化可能趋向于变大或者变小，导致上层落入饱和区，使得学习过早停止。

其三，每层的更新都会影响到其它层，因此每层的参数更新策略需要尽可能的谨慎。

从上图可以看到，靠近输入侧的层稍有更新，靠近输出侧的层都需要重新寻找更优参数。这种计算数值的不稳定性通常令我们难以训练出有效的深度模型。对数据进行归一化是解决这类问题的一种思路。

Batch Normalization 有效性解释

关于Normalization的有效性，有以下几个主要观点：

(1)