深度学习（tensorflow)：批标准化

标准化

传统机器学习中标准化也叫归一化，
一般是将数据映射到指定的范围，用于去除不同维度数据的量纲以及量纲单位。

什么是标准化

数据标准化让机器学习模型看到的不同样本彼此之间更加相似，这有助于模型的学习与对新数据的泛化。

常见的数据标准化形式：

标准化和归一化
标准化：
将数据减去其平均值使其中心为0，然后将数据除以其标准差使其标准差为1。

Batch Normalization， 批标准化，和普通的数据标准化类似，是将分散的数据统一的一种做法，也是优化神经网络的一种方法。

批标准化：
不仅在将数据输入模型之前对数据做标准化。
在网络的每一次变换之后都应该考虑数据标准化。

即使在训练过程中均值和方差随时间发生变化，它也可以适应性地将数据标准化。

为什么要做批标准化

批标准化解决的问题是梯度消失与梯度爆炸。
批标准化一种训练优化方法。
如果输入很大，其对应的斜率就很小，反向传播梯度就很小，学习速率就很慢。

梯度消失

关于梯度消失，以sigmoid函数为例子，sigmoid函数使得输出在[0,1]之间。

批标准化好处

我们知道数据预处理做标准化可以加速收敛，同理，在神经网络使用标准化也可以加速收敛，而且还有更多好处。

具有正则化的效果（抑制过拟