Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
网络的输出受到前一层的影响,如果前一层的输出发生变化,那么对于后面所有层都有影响。后面所有层需要更多的时间,去适应新的变换。这种现象,作者叫做内部协变量偏移。这篇论文最主要的贡献是创造性的提出了BN层。BN层的出现使得网络对于初始化和学习率都不用太敏感。

本文探讨了深度网络训练中的内部协变量偏移问题,提出Batch Normalization层作为解决方案,该层加速了网络训练并减少了对初始化和学习率的敏感性。此外,文章还介绍了Inception系列模型,包括Inception-v1到Inception-v4的结构与改进。
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
网络的输出受到前一层的影响,如果前一层的输出发生变化,那么对于后面所有层都有影响。后面所有层需要更多的时间,去适应新的变换。这种现象,作者叫做内部协变量偏移。这篇论文最主要的贡献是创造性的提出了BN层。BN层的出现使得网络对于初始化和学习率都不用太敏感。

840
3523
3239
567

被折叠的 条评论
为什么被折叠?