在其他参数基本一致的情况下,单独调整batchsize,来查看一下对训练的影响.
记录下不同batch normalization位置情况下最终训练model在test集上测试的结果
训练模型
下面是一个训练模型的summary,我将在此模型下修改batch size然后观察数据变化
这个是之前的训练网络,分别在三个地方加入Batch Normalizatioin来看一下效果。

加在第一层

加在第二层

加在第三层

不敢妄称结论,但从现象来看,似乎Batch Normalizatioin加在网络的后面比前面层效果要好一点。