本文详细介绍了在网络中使用批量规范化（Batch Normalization, BN）层时，训练阶段与测试阶段的不同操作方式。具体而言，在训练过程中，BN层依据当前批次的数据计算均值与方差；而在测试时，则采用训练过程中所有批次均值与方差的平均值。此外，文章还强调了BN层对于批次大小的要求，并指出在使用预训练模型进行分类任务时，较小的批次大小可能会显著影响模型的表现。
当我们在网络中使用BN是，在训练和测试时归一化时使用的均值和方差不同的：
训练时：是在每个batch中计算均值和方差，
而测试时是使用训练时得到的每个batch的均值和方差的平均值。
即：
在tensorflow中加入BN时需要
训练时将BN层中的is_training 设置为Ture
测试时将BN层中的is_training 设置为Flase
update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)
with tf.control_dependencies(update_ops):
train_op = optimizer.minimize(loss)
BN对batchsize要求很高一般batchsize设置为32效果比较好
在调用预训练模型进行分类时发现batchsize过小对模型影响很大
扫一扫
219
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
