神经网络model训练时loss=nan【原因总结】

已于 2024-10-20 16:26:04 修改
阅读量735 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Machine & Deep Learning 文章标签： 神经网络 人工智能 深度学习
于 2024-10-20 15:17:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiangyong58/article/details/143092954

一、Loss functions 中含 F.log_softmax()函数

原因： 由于在计算log_softmax(x)时, 出现log(0)的情况。
解决方法：
给log_softmax的参数x添加一个很小的数：

out=F.log_softmax(x+1e-10).

二、loss_function(x)函数参数中出现nan

原因： 网络的生成features x 中含有nan.
解决方法：
debug网络模型。

备注1：判断在数据中存在inf与nan的情况


                

                
                
        

    


  


        

                

                  

                  

                  了解本专栏
                  
                  
                    
                  订阅专栏 解锁全文
                   
                  
                    
                    超级会员免费看
                  
                

            
            
            
        


    



                



	

		

			

				
					
keras 自定义loss model.add_loss的使用详解

				
			

			

				

					12-17
				

			

		

		

			
				
一点见解，不断学习，欢迎指正
1、自定义loss层作为网络一层加进model，同时该loss的输出作为网络优化的目标函数

from keras.models import Model
import keras.layers as KL
import keras.backend as K
import numpy as np
from keras.utils.vis_utils import plot_model
x_train=np.random.normal(1,1,(100,784))
x_in = KL.Input(shape=(784,))
x = x_in
x = KL.Dense

			
		

	



                

            
              



	

		

			

				
					
Pytorch训练模型损失Loss为Nan或者无穷大（INF）原因

					
热门推荐

				
			

			

				

					ytusdc的博客
				

				

					02-12
					
					7万+
					
				

			

		

		

			
				
常见原因-1
一般来说，出现NaN有以下几种情况：
相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结：


1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。

2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原因，一个有效的方式是增加“gradient clipping”（梯度截断来解决）


			
		

	



              


  
              

                


	

		

			

				
					
训练神经网络出现nan

				
			

			

				

					m0_61175448的博客
				

				

					10-08
					
					1699
					
				

			

		

		

			
				
在这里对这个问题做一个总结：1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原因，一个有效的方式是增加“gradient clipping”（梯度截断来解决）_pytorch nan。其实不然，在训练的时候我们依然可以通过大量的技巧去最大化我们的训练效果，从而帮助我们的任务取得不错的精度，这些技巧是训练神经网络不可缺少的一环。fastai首席设计师。

			
		

	





	

		

			

				
					
大模型对齐中的各种loss讲解

				
			

			

				

					qkh1234567的博客
				

				

					11-23
					
					1945
					
				

			

		

		

			
				
从这篇文章开始，我会不定期分享利用 OpenRLHF 学习 RLHF 的一些心得。我平常读代码喜欢开门见山，直接去看 loss 函数是什么形式，再去理解代码的其他环节，所以就从 loss 开始分享吧。

			
		

	



		

			
		



	

		

			

				
					
model训练结束后绘制loss曲线

				
			

			

				

					weixin_30672295的博客
				

				

					05-16
					
					1912
					
				

			

		

		

			
				
cat filename | grep smoothed_loss | awk '{print $11}'
转载于:https://www.cnblogs.com/superxiaoying/p/9044321.html

			
		

	





	

		

			

				
					
训练网络loss出现Nan的原因总结记录

				
			

			

				

					“365天深度学习训练营”报名进行中～
				

				

					09-05
					
					978
					
				

			

		

		

			
				
1. 学习率过大
2. 数据发生了损坏



			
		

	





	

		

			

				
					
在训练模型model.compile()中计算loss的常用函数都有哪些？

				
			

			

				

					ch206265的博客
				

				

					08-11
					
					6021
					
				

			

		

		

			
				
http://www.ifunvr.cn/180.html

https://www.cnblogs.com/smuxiaolei/p/8662177.html

目标函数，或称损失函数，是网络中的性能函数，也是编译一个模型必须的两个参数之一。由于损失函数种类众多，下面以keras官网手册的为例。

在官方keras.io里面，有如下资料：


	mean_squared_error或mse
	
	
	mean_absolute_error或mae
	
	
	mean_absolute_percentage

			
		

	





	

		

			

				
					
cddfuse训练时loss=nan

					
最新发布

				
			

			

				

					04-03
				

			

		

		

			
				
### CDDFuse 模型训练 Loss 出现 NaN 的原因分析  在深度学习模型训练中，Loss 值变为 NaN 是一种常见的问题，可能由多种因素引起。对于 CDDFuse 模型而言，以下是可能导致该现象的主要原因及其对应的解决方案：  ##...

			
		

	





	

		

			

				
					
深度学习（神经网络）训练时loss不变的可能原因

				
			

			

				

					weixin_44405644的博客
				

				

					05-19
					
					5万+
					
				

			

		

		

			
				
一、训练背景

模型采用简单的四层linear以及Relu、Sigmoid，实现二分类问题
loss采用的是交叉熵和Focal loss(测试Focal loss性能)
优化方式采用的是Adam+StepLR

二、LOSS不变的原因
1. 背景：训练集和测试集的loss都不变了、训练集的loss完全不变(是严格的不变了)

2.loss不变的处理办法
1. 首先参考网上的策略
-1. 数据本身的问题：可以尝试使用其他的数据处理方法，例如归一化或者规范化等(不能没有，不能全靠Adam呀)
-2. 初始化权重

			
		

	





	

		

			

				
					
深度学习：根据 loss曲线，对模型调参

				
			

			

				

					weixin_46969441的博客
				

				

					11-01
					
					1万+
					
				

			

		

		

			
				
深度学习模型调参笔记
train loss 下降，val loss下降，说明网络仍在学习； 奈斯，继续训练
train loss 下降，val loss上升，说明网络开始过拟合了；赶紧停止，然后数据增强、正则
train loss 不变，val loss不变，说明学习遇到瓶颈；调小学习率或批量数目
train loss 不变，val loss下降，说明数据集100%有问题；检查数据集标注有没有问题
train loss 上升，val loss上升，说明网络结构设计不当，训练超参数设置不当，数据集经过清洗等问

			
		

	





	

		

			

				
					
模型训练中出现NaN Loss的原因及解决方法

				
			

			

				

					豆芽菜
				

				

					05-23
					
					1万+
					
				

			

		

		

			
				
1 梯度爆炸

原因：学习的过程中，梯度变得非常大，使得学习的过程偏离了正常的轨迹。
	症状：观察每次迭代的loss值，会发现loss明显增长，最后因为loss值太大以至于不能用浮点去表示，所以变成了Nan。
	可采取的措施：1 降低学习速率，2 如果模型中有多个loss层，就需要找到梯度爆炸的层，然后降低该层的loss weight。
2 学习率过高

原因：过高的学习率乘上所有的梯度使得所有参数变成无效的值。
	症状：观察输出日志，会发现学习率变成nan
	可采取的措施：设置合适的学习速率
3 损失函数

			
		

	





	

		

			

				
					
模型训练中出现loss为NaN怎么办？

				
			

			

				

					Thomas_Cai的记忆殿堂
				

				

					07-18
					
					6140
					
				

			

		

		

			
				
模型训练中出现loss为NaN原因

			
		

	





	

		

			

				
					
【深度学习】Loss为Nan的可能原因

				
			

			

				

					passer__jw767的博客
				

				

					06-11
					
					2678
					
				

			

		

		

			
				
Loss为Nan的原因分析与解决

			
		

	





	

		

			

				
					
Loss变为NaN怎么办？

				
			

			

				

					天渡漫谈
				

				

					07-07
					
					1万+
					
				

			

		

		

			
				
在训练网络的时候，当打印出的日志提示loss变为NaN的时候，是不是整个人都开始抓狂了？相信应该每个算法工程师都遇到过这个令人头秃的问题。
本文就是介绍如果遇到loss变成NaN时，如何快速的或者多方面排查原因。

一、训练数据有问题
比如数据集中就有某些特征的某些取值为NaN，或者label缺失。在一个iteration中batch数据如果没问题，loss正常显示；如果不凑巧，batch数据中恰好有NaN或者label缺失，loss就突然变为NaN了。
建议这一步作为排查问题时的Step1。
二、梯度爆.

			
		

	





	

		

			

				
					
深度学习网络训练，Loss出现Nan的解决办法

				
			

			

				

					不要给自己设限，尝试更多可能（思所向 皆可往）
				

				

					04-23
					
					5716
					
				

			

		

		

			
				
模型的训练不是单纯的调参，重要的是能针对出现的各种问题提出正确的解决方案。本文就训练网络loss出现Nan的原因做了具体分析，并给出了详细的解决方案，希望对大家训练模型有所帮助。一、原因如果在迭代的100轮数以内，出现NaN，一般情况下的原因是你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。

			
		

	





	

		

			

				
					
[深度学习] 梯度消失与梯度爆炸、Loss为Nan的原因

				
			

			

				

					北望花村
				

				

					08-04
					
					2万+
					
				

			

		

		

			
				
现象

如何确定是否出现梯度爆炸？

在训练过程中出现梯度爆炸会伴随一些细微的信号，如：

（1）模型无法从训练数据中获得更新；

（2）模型不稳定，导致更新过程中的损失出现显著变化；

（3）训练过程中，模型的损失变为Nan。

 

梯度消失与梯度爆炸原因

首先，来看神经网络更新梯度的原理，即反向传播算法。

详细推导参考：反向传播算法



通过反向传播算法更新梯度的公式可以看到，影响梯度...

			
		

	





	

		

			

				
					
在第一个 epoch 的训练中 loss 正常，但是在之后的 epoch 中 loss 变为 NaN

				
			

			

				

					zhu_ba的博客
				

				

					11-26
					
					2019
					
				

			

		

		

			
				
在深度神经网络训练中，如果在第一个 epoch 的训练中 loss 正常，但是在之后的 epoch 中 loss 变为 NaN，通常说明模型在训练过程中发生了某种问题。在诊断问题时，逐步排除可能的原因，同时监控训练过程中的中间状态，例如梯度大小、权重分布等，可以帮助更准确地定位问题。2.如果学习率过大，权重更新可能会导致参数值爆炸，使 loss 变为 NaN。11.网络结构可能存在问题，如层之间的连接错误或某些层参数的异常初始化。14.在计算中使用了不稳定的数值计算方法，可能导致数值溢出或下溢。

			
		

	





	

		

			

				
					
模型的损失（Loss）

				
			

			

				

					m0_51200050的博客
				

				

					06-16
					
					2006
					
				

			

		

		

			
				
模型的损失（Loss）

			
		

	





	

		

			

				
					
深度模型 loss为nan解决方案详解

				
			

			

				

					bitcarmanlee的博客
				

				

					03-21
					
					2万+
					
				

			

		

		

			
				
1.loss为nan
深度模型进行训练的时候，经常出现loss为nan的情况。比如某一次训练过程的输出如下：
Epoch 1/50
  1/303 [..............................] - ETA: 0s - loss: 278.5685 - accuracy: 0.0000e+00
 47/303 [===>..........................] - ETA: 0s - loss: nan - accuracy: 0.5745         
 95/3

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
xiangyong58

			
喝杯茶还能肝到天亮，共同进步

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值