qq_46583655的博客

转载 博客摘录「 Pytorch训练模型损失Loss为Nan或者无穷大（INF）原因」2024年10月15日

【比如不做其他处理的softmax中分子分母需要计算exp（x），值过大，最后可能为INF/INF，得到NaN，此时你要确认你使用的softmax中在计算exp（x）做了相关处理（比如减去最大值等等)】Nan：首先怀疑模型中的指数运算， 因为模型中的数值过大，做exp(x)操作的时候出现了上溢出现象，这里的解决方法是推荐做Nrom 操作，对参数进行正则化，这样在做exp操作的时候就会很好的避免出现上溢出的现象，可以做。