本文介绍了在 TensorFlow 中正确使用 Batch_Normalization 的关键点，强调了训练和预测时的区别。在训练阶段，需设置 `training=True` 并确保更新滑动平均值的依赖操作。在保存模型时，必须包含滑动平均值以避免加载模型时出错。预测时，通常设置 `training=False`，但在某些情况下，如训练时 batch_size=1，可能需要尝试 `training=True` 来获得更好的效果。此外，还提到了当 batch_size=1 时 Batch_Normalization 可能表现得像 Instance_Normalization 的现象。
题外话：tensorflow中，tf.contrib是一些尝试代码或者不稳定的代码，将来可能会被弃用或者删除；tf.layers中是一些已经确定了的代码，基本不会有大的改动；tf.nn是最基本的代码，级别最低，基本不会变，但要实现各种功能，需要自己组合别的api来实现。
使用tf.layers.batch_normalization()，首先是api接口：点击打开链接
注意：
训练：
1.设置training=True；
2.添加下面的代码，以保存滑动平均值，测试时会使用到；
Note: when training, the moving_mean and
806
2303
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
扫一扫
