train和eval在训练集上表现差距很大

MlllllllllJ.

于 2022-12-08 17:17:54 发布

阅读量726

点赞数

文章标签：深度学习 python

本文链接：https://blog.youkuaiyun.com/qq_44372314/article/details/128240373

版权

博主遇到在训练结束后使用train和eval模式下模型表现不佳的问题。通过排除过拟合、代码错误等因素并尝试冻结BN层、调整dropout等方法仍未解决。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

目前在训练结束之后发现使用train和eval跑出来的结果很差。于是做了以下测试：

1.为避免问题是过拟合导致的，于是在训练集上使用eval发现替换model.train与model.eval差别很大。并且使用train与训练时计算的loss也有比较大的差距。

2.为避免代码造成的问题，于是将train.py基础上去掉后向传播和模型保存部分，结果与上述一致。

3.根据网上的一些办法，使用以下函数冻结bn层：结果保持不变

def freeze_bn(m):
    classname = m.__class__.__name__
    if classname.find('BatchNorm') != -1:
        m.momentum=1
        #m.track_running_stats = False
        #m.eval()

4.数据处理时加入归一化重新训练，结果表现依然不变

5.将验证时的dropout的概率置0，结果保持不变

backbone使用了resnet，显卡原因batchsize只能到8，我现在这个问题有大佬能帮忙解决吗，感激不尽