Batch Normalization原理及其反向传播
Batch Normalization的过程及其实现
Batch Normalization可以解决深度神经网络中输入不稳定的问题,并且使得神经网络的梯度大小相对固定。
BN的好处:
1、提高训练速度,使收敛速度加快。
2、增加分类效果。(类似于Dropout的一种防止过拟合的正则化表达式,所以不用Dropout也能达到相当的效果)
3、调参的过程也变得简单,对于初始化要求也
提示:本篇文章为了自己学习使用,也分享给大家,
参考公众号极市平台
作者丨风行天上@知乎
来源丨https://zhuanlan.z
转载
2020-09-01 16:11:01 ·
560 阅读 ·
0 评论