Deep Leaning 学习笔记之改善神经网络的超参数（3.2）—— 批量初始化Batch norm及Softmaxr

1 批量初始化

1.1 定义

除了对X能够进行均值归一，对各个隐藏层也可以初始化，即对Z统一初始化

1.2 方法

下图中的$\gamma$和$\mu$，是两个超参数，可以控制均值和方差的界限
（一般来说都是均值为0，方差为1，但是不一定，因此可以通过这两个超参数进行控制）
还有种情况就是，当$\gamma =\sqrt{{\sigma }^2+\epsilon }$