vgg16从头训练loss不变的解决方法

最新推荐文章于 2025-01-06 19:39:35 发布

「已注销」

最新推荐文章于 2025-01-06 19:39:35 发布

阅读量6.5k

点赞数 6

CC 4.0 BY-SA版权

分类专栏：坑

本文链接：https://blog.youkuaiyun.com/sugarfreewang/article/details/93976701

在从头训练VGG16模型时，可能会遇到loss保持不变的问题，如二分类时loss始终为0.69，四分类时为1.386。这可能是权重初始化为NaN，导致通过全连接层后各分类概率相同。解决方法是将权重初始化方式改为‘xavier’，以促进模型收敛。参考了多个资料和讨论，包括GitHub上的问题和StackOverflow解答。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述
从头开始训练，会碰上loss=-ln(类别数)的情况，例如二分类问题loss恒等于0.69，四分类分体loss恒等于1.386推测是由于权重变成NaN之后通过fc变成相同的数导致最终每类的概率相同。
将参数的“gaussian”初始方式修改为“xavier”, 否则训练的时候可能不会收敛。参数的初始化方式很重要。

convolution_param {  
   num_output: 64  
   pad: 1  
   kernel_size: 3  
   weight_filler {  
     type: "xavier"  //将每个weight_filler处的gaussian修改成xavier
   }

参考文献：

https://github.com/NVIDIA/DIGITS/issues/159#issuecomment-247707549
https://github.com/NVIDIA/DIGITS/issues/535
https://stackoverflow.com/questions/42652903/caffe-net-not-converging-when-replacing-a