本文探讨了ReLU激活函数和BatchNormalization（BN）层在预测阶段如何受batch-size影响。在测试时，batch-size理论上不影响结果，特别是在使用model.eval()后，BN层的mean和var保持固定。理解这些概念对于优化模型性能至关重要。
ReLU和BN层简析
Batch Normalization的预测阶段
batch-size调整后，相应的学习律，梯度累加等可能都要调整，有时候也可以调整一些过拟合参数，比如dropout, bn等。
个人理解，在test的时候，batchsize不会对测试结果产生影响，有很多人在test的时候都是不设batchsize的，直接读进去。
至于valid，个人认为，只要用了model.eval()，batchsize也不会影响结果。Bachnormalize虽然会带进去两个参数gamma和beta进行训练，但是train完之后就归一化操作中的mean和var就定死了（用了.eval()之后不再进行训练）
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
