深度学习优化策略----BN层的小技巧（r初始化为0）

将BN层的 $\gamma$初始化0：

对于ResNet来说，可以将残差块后面接的batch normalization层的$\gamma \hat{x}+\beta$ 中的 $\gamma$ 初始化为0。这样做的好处是，在初始化阶段可以简化网络，更快训练。