最近一直在做模型时一直被一个问题困扰,得到loss=87.3365,对于这个问题,很多很好的博客给出了解释,链接如下
https://blog.youkuaiyun.com/jkfdqjjy/article/details/52268565?locationNum=14
但是悲催的是,每种方法都尝试了,依然不行,真的要怀疑人生了!!!
最后耐着性子,一部一部查看每一层,才找出了问题所在,设置debug_info: true 后会发现输出值慢慢变得非常大,分析原因,在批量归一化层BatchNorm,错误在于设置参数 use_global_stats: true,此处应该改为moving_average_fraction: 0.9。然后问题就解决了,希望记录下来,对和我遇到同样问题的小伙伴有帮助。
,