关于tensorflow 的 batch_norm问题

最新推荐文章于 2023-10-22 15:30:51 发布

转载最新推荐文章于 2023-10-22 15:30:51 发布 · 1k 阅读

本文探讨了BatchNorm在深度学习模型中的作用，尤其是在训练初期的warmup阶段。介绍了moving average参数renorm_decay对BatchNorm效果的影响，以及在训练与测试阶段mean和variance的不同计算方式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.一个小哥说用batch norm要非常耐心的等待他warm up,这才想到moving average的计算方式是以一个参数renorm_decay来计算滑动平均的，这个值的默认值是0.99，如果训练的轮次太少，moving_average还保持在一个和初始值很接近的值，远远没有收敛，导致预测时结果错误

2.我在模型中用到了slim的batchnorm。大家都知道batch_norm有两个重要的值，一个是mean,一个是variance。这两个值在训练时，是这个batch的输出的均值和方差；在测试时是整个训练过程中每个batch的mean和variance的moving average。

参考网址：

https://zhuanlan.zhihu.com/p/41117510