Torch 和 Numpy 出现NAN解决方法

深度学习：解决Torch和Numpy训练中出现NAN问题
最新推荐文章于 2025-05-02 19:00:00 发布
原创 最新推荐文章于 2025-05-02 19:00:00 发布 · 6.8k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

在深度学习训练时，遇到NAN值可能源于自定义损失函数中的数学异常，如除以零或对数零。文章介绍了如何检测和处理这些NAN值，包括使用isnan检测简单标量，对复杂向量用.int().sum()计数NAN，以及利用numpy的nanmean等方法处理NAN，甚至通过np.isnan、np.where和np.delete来剔除含有NAN的数据。

在训练过程中，在确保数据没有异常的情况。由于自定义loss中出现了除数为0或对数为0的情况，导致无法计算得到数字就会得到NAN，然后loss.backward()就会导致整个网络的权重数值都变成NAN。直接导致网络无法计算。
所以在网络训练过程中需要对NAN进行检测和处理。

NAN检测

如果只是一个简单的标量，直接使用isnan进行判据

torch.isnan(loss)

如果只是一个相对复杂的矢量，则需要使用结合.int().sum()对nan进行计数，判据大于0

torch.isnan(loss).int().sum()

numpy类型的计数


                

                
                
        

    


  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    



                



	

		

			

				
					
Pytorch训练过程出现nan的解决方式

				
			

			

				

					09-18
				

			

		

		

			
				
这种情况表明模型的训练出现了异常，需要进行排查和解决。以下是一些可能导致`nan`出现的原因及其对应的解决策略：  1. **学习率过高**：  学习率设置得过高可能导致模型权重更新过于剧烈，以至于超出合理范围，最终...

			
		

	



                

            
              



	

		

			

				
					
pytorch nan解决方法笔记

				
			

			

				

					jacke121的专栏
				

				

					10-03
					
					5784
					
				

			

		

		

			
				
pytorch nan解决方法笔记

			
		

	



              


  
              

                


	

		

			

				
					
pytorch中torch.isnan()和torch.isfinite()

				
			

			

				

					学无止境、积少成多、厚积薄发
				

				

					10-28
					
					1万+
					
				

			

		

		

			
				
今天看代码看到的这两个函数，不多数废话，直接上Demo：
1.先来研究torch.isfinite()
import torch
num = torch.tensor(1)  # 数字1
res = torch.isfinite(num)
print(res)
'''
输出：
tensor(True)
'''

这个num必须是tensor
import torch
num = torch.tensor(float('inf')) # 正无穷大
res = torch.isfinite(num)
print

			
		

	





	

		

			

				
					
python-torch 训练过程中发现模型输出是NAN

				
			

			

				

					随笔
				

				

					03-29
					
					785
					
				

			

		

		

			
				
python-torch 训练过程中发现模型输出是NAN

			
		

	



		

			
		



	

		

			

				
					
torch数组计算出现NAN

				
			

			

				

					gray___的博客
				

				

					12-11
					
					1633
					
				

			

		

		

			
				
torch数组计算出现NAN

			
		

	





	

		

			

				
					
【大模型面试每日一题】Day 6：分布式训练中 loss 出现 NaN，可能原因及排查方法？

					
最新发布

				
			

			

				

					2302_79932616的博客
				

				

					05-02
					
					1434
					
				

			

		

		

			
				
✅一句话总结：Loss 出现 NaN 是训练过程中常见但棘手的问题，需从梯度、参数、数据、算子、分布式等多个角度系统性排查。建议在训练初期就集成自动检测机制，结合日志、可视化和人工验证手段构建完整的防护体系。

			
		

	





	

		

			

				
					
Pytorch tensor避免nan解决办法

				
			

			

				

					weixin_38076506的博客
				

				

					02-17
					
					7705
					
				

			

		

		

			
				
使用pytorch处理数据运算是，如矩阵涉及乘除法，如矩阵中存在nan数据，则结果中存在nan，解决方案是使用torch.where()将nan值替换为0或其他值：


torch.where(torch.isnan(a), torch.full_like(a, 0), a)




			
		

	





	

		

			

				
					
pytorch训练出现nan是什么意思

					
热门推荐

				
			

			

				

					夏目里奇的博客
				

				

					01-05
					
					1万+
					
				

			

		

		

			
				
1.背景
训练时忽然发现某几项loss变成了nan。
2.nan的含义
nan值在python往往可以直接与无穷大，无穷小等价。
常见根本来源：


a/0


log(0)


空索引


第一个常见例子: loss/posnumloss / posnumloss/posnum，希望根据正例个数平分loss，却忽视pos_num可能为0，也就是图片中没有正例，常见解决loss/(0.0001+num)loss/(0.0001 + num)loss/(0.0001+num)或者if判断；
第二个常见例子：l

			
		

	





	

		

			

				
					
torch.isinf()、torch.isnan()、torch.isfinite()使用详解

				
			

			

				

					weixin_46286008的博客
				

				

					05-05
					
					3311
					
				

			

		

		

			
				
（返回与输入张量大小相同的张量），是无穷大则为True，否则为Flase。（返回与输入张量大小相同的张量），是NAN则为True，否则为Flase。（返回与输入张量大小相同的张量），是有限值则为True，否则为Flase。这里需要注意一下，传入三个函数的值必须为tensor类型。（3）torch.isfinite()，判断输入张量。（1）torch.isinf()，判断输入张量。（2）分别打印三个函数的返回值。有限值、无穷大、NAN。每个元素是否为无穷大。每个元素是否为有限值。

			
		

	





	

		

			

				
					
一次pytorch中出现的nan问题

				
			

			

				

					qq_38507163的博客
				

				

					12-14
					
					4909
					
				

			

		

		

			
				
nan排查
最近调试代码时，发现一个loss全部变为nan。网上主流的解释大多千篇一律，比如
1.学习率太高。

2.loss函数

3.对于回归问题，可能出现了除0 的计算，加一个很小的余项可能可以解决

4.数据本身，是否存在Nan，可以用numpy.any(numpy.isnan(x))检查一下input和target
...

我这儿问题可以确定，是由于数学运算造成的nan。最后具体定位到，是由于一个池化操作造成的。在pycharm中单步调试，使用如下表达式判断x中是否有nan，因为nan==nan

			
		

	





	

		

			

				
					
pytorch torch.nan_to_num函数介绍

				
			

			

				

					qq_27390023的博客
				

				

					12-13
					
					1909
					
				

			

		

		

			
				
是 PyTorch 中的一个函数，用于将张量中的特殊浮点值（如NaN+Inf和-Inf）替换为指定的数值，或使用默认替代值。inputNaN+Inf-Infnan(可选)NaN0.0posinf(可选)+Infneginf(可选)-InfNaN+Inf-InfNaNNaNnan+Inf-Infposinfneginf如果没有指定posinf和neginf，函数会使用数据类型的最大或最小值。其中3.4028e+38和分别是float32类型的最大和最小有限值。: 替换缺失值（NaN）或异常值（

			
		

	





	

		

			

				
					
torch.isfinite()、torch.isinf()、torch.isnan()

				
			

			

				

					weixin_43102043的博客
				

				

					05-05
					
					1437
					
				

			

		

		

			
				
torch.isfinite(tensor)	
判断是否有界
torch.isinf(tensor)
判断是否无穷
torch.isnan(tensor)
判断是否为空
以上三个函数都返回 bool 类型的mask
举例说明：
arr = torch.tensor((float('inf'), float('-inf'), float('nan')))
mask1 = torch.isfinite(arr)
tensor([False, False, False])  

mask2 = torch.isi

			
		

	





	

		

			

				
					
为什么numpy.nan会出现-2147483648

				
			

			

				

					菜鸟IT女
				

				

					11-24
					
					1131
					
				

			

		

		

			
				
问题
将t1中索引为3的这列进行赋值为np.nan，但是输出t1之后发现是一串数字？？？

解决
首先，np.nan为float类型，该代码在赋值np.nan之前虽然有改变其数组的数据类型为float，但是并没有改变成功。因为ndarray.astype函数有返回值，所以并没有改变t1数组本身。
也就是说，t1还是int类型的，所以赋值为np.nan时会发生如上问题。需将以上代码改为：t1 = t1.astype("float")

...

			
		

	





	

		

			

				
					
pytorch提取非NAN值

				
			

			

				

					qq_38603174的博客
				

				

					12-02
					
					2103
					
				

			

		

		

			
				
numpy和torch中有关于判断NAN值的函数，但是没有判断非NAN值的函数，pandas中有判断非空值的函数，即df.notnull()，但是还得把数据转换为Dataframe的形式，因为用不惯Dataframe数据形式，所以考虑在numpy和tensor的形式中通过调用python自带的函数而不是耗时的for循环提取非NAN值，记录下来以免以后查阅，具体操作如下。
基本思路：
对于tensor来说，首先通过调用torch.isnan()函数获取空值，接着通过使用torch.where()函数获取空值的

			
		

	





	

		

			

				
					
pytorch训练一段时间突然出现NaN

				
			

			

				

					m0_37192554的博客
				

				

					10-21
					
					1万+
					
				

			

		

		

			
				
一、https://www.cnblogs.com/bonelee/p/8603750.html
相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结。

一般来说，出现NaN有以下几种情况：
1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。

2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原

			
		

	





	

		

			

				
					
torch.where 防止空操作，避免loss 计算出现nan

				
			

			

				

					onlyforbest的博客
				

				

					04-22
					
					846
					
				

			

		

		

			
				
import torch
y=torch.tensor([1,0])
x=torch.tensor([[1,2,3],[1,23,4]])
print(x[torch.where(y>10)])
diff=x[torch.where(x>100)]
''' 通过求和 无法解决高维度的空张量 tensor([], size=(0, 3), dtype=torch.int64)'''

y=sum(torch.tensor([[[]]]))
print(y)

''' 可以先取出张量的数据，再通过.

			
		

	





	

		

			

				
					
梯度裁剪中的NaN值处理 - 深入探究torch.nn.utils.clip_grad_norm_和torch.nn.utils.clip_grad_value_

				
			

			

				

					C_C666的博客
				

				

					12-26
					
					3835
					
				

			

		

		

			
				
在深度学习中，梯度裁剪是一种常用的技术，用于防止训练过程中梯度爆炸的问题。PyTorch提供了两个梯度裁剪函数 - torch.nn.utils.clip_grad_norm_ 和 torch.nn.utils.clip_grad_value_。本博客将深入探讨这些函数的计算方法，以及它们如何处理梯度中的NaN值。

			
		

	





	

		

			

				
					
torch 训练过程中nan问题

				
			

			

				

					liu100286的博客
				

				

					01-27
					
					1906
					
				

			

		

		

			
				
事情的过程:
某天git上clone了个项目下来跑着看看。环境搭好,数据路径改改，结果在我那显卡上竟然内存不足，抛出异常。没办法，把input batch调低点吧。ok跑起来了。
几个epoch过后loss 出现了nan。emmm 检测一下别人的模型 emmm  vgg16 bn层版。。。某问题啊！！！再检测一下数据,也没出现数据异常的情况。。。百度吧。。。
一番百度过后，尝试了调整 学习率，更换优化函数。。。折腾了一个工作日无果。。。脑袋的毛又少了几根。回到git再看看别人的项目说明，没发现有什么特别需要

			
		

	





	

		

			

				
					
torch数据中的nan用0替代

				
			

			

				

					04-28
				

			

		

		

			
				
可以使用以下代码将torch数据中的NaN替换为0：  ``` import torch import numpy as np  # create a sample tensor with NaN values t = torch.tensor([[1, 2, 3], [4, np.nan, 6], [7, 8, np.nan]])  # replace NaN ...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值