torch数组计算出现NAN

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 1.6k累计阅读 1.7k平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄9年

关注

原创 2022-12-11 15:41:40 1.6k 阅读 AI 写同款· GEO 优化 ›

Pytorch训练模型损失Loss为Nan或者无穷大（INF）原因常见原因-1 一般来说，出现NaN有以下几种情况：相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。 2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原因，一个有效的方式是增加“gradient clipping”（梯度截断来解决）阅读详情

在torch中零除零不会报错，结果会是NaN。

比如

a = torch.tensor([0,0])

a/a

output: tensor([nan])

PS: 这个白痴问题我想了好久，最后还是靠print才解决。没想到这里是因为平常如果除零的话是会报错的，但是在numpy里会提醒，torch里不提醒。解决办法就是a.clamp(1e-4)

收录于

胖琦的pytorch

当前文章被收录于：

胖琦的pytorch

4 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

标签

#深度学习 #人工智能 #计算机视觉

pytorch训练过程中出现nan的排查思路最常见的就是出现了除0或者log0这种，看看代码中在这种操作的时候有没有加一个很小的数，但是这个数数量级要和运算的数的数量级要差很多。一般是1e-8。在optim.step()之前裁剪梯度。 optim.zero_grad() loss.backward() nn.utils.clip_grad_norm(model.parameters, max_norm, norm_type=2) optim.step() max_norm一般是1，3，5。前面两条还不能解决nan的话，就按照下面的流程来判. 阅读详情

相关推荐

自动微分实战指南：从计算图原理到梯度调试避坑

自动微分（AD）是深度学习框架实现高效反向传播的核心机制，其本质是基于计算图的链式法则精确求导，区别于符号微分的表达式爆炸和数值微分的精度灾难。它通过前向构建原子操作序列、反向沿图回传局部梯度，天然支持控制流与动态结构，成为PyTorch、TensorFlow等框架梯度引擎的底层支柱。技术价值在于将手工求导转化为稳定、可复现、可调试的工程流程，支撑自定义Loss、梯度裁剪、混合精度及高阶优化等关键场景。本文聚焦AD在真实训练循环中的落地细节，深入解析计算图构建、requires_grad契约、梯度断连根因及

anque1234的博客 445

pytorch训练出现nan是什么意思

1.背景训练时忽然发现某几项loss变成了nan。 2.nan的含义 nan值在python往往可以直接与无穷大，无穷小等价。常见根本来源： a/0 log(0) 空索引第一个常见例子: loss/posnumloss / posnumloss/posnum，希望根据正例个数平分loss，却忽视pos_num可能为0，也就是图片中没有正例，常见解决loss/(0.0001+num)loss/(0.0001 + num)loss/(0.0001+num)或者if判断；第二个常见例子：l

夏目里奇的博客 1万+

pytorch nan解决方法笔记

jacke121的专栏 5875

Torch 和 Numpy 出现NAN解决方法

在训练过程中，在确保数据没有异常的情况。由于自定义loss中出现了除数为0或对数为0的情况，导致无法计算得到数字就会得到NAN，然后loss.backward()就会导致整个网络的权重数值都变成NAN。直接导致网络无法计算。所以在网络训练过程中需要对NAN进行检测和处理。 NAN检测如果只是一个简单的标量，直接使用isnan进行判据 torch.isnan(loss) 如果只是一个相对复杂的矢量，则需要使用结合.int().sum()对nan进行计数，判据大于0 torch.isnan(loss).i

Forrest97的博客 6973

模型收敛性分析与训练稳定性技巧：损失曲线、梯度健康、NaN 排障与大模型监控（分层式精讲）

一个训练任务是否健康，至少要同时看训练损失、验证损失、任务指标、梯度范数、参数更新比例、学习率、精度模式、AMP loss scale、非有限值数量、分布式状态、数据吞吐和样本质量。它面向“单优化器、非梯度累积”的普通训练循环；如果小批次都记不住，优先怀疑代码、标签、loss、mask、优化器和学习率，而不是模型容量。判断时要同时画训练集和验证集，并标出学习率、batch size、梯度累积步数、数据增强开关、混合精度状态。它往往来自输入、loss、归一化、混合精度、除零、指数溢出或异常 batch。

AI浩 296

简单说说Python中的pip如何换源

【安装包】：pip install 【升级包】：pip install --upgrade 【卸载包】：pip uninstall 【查看已安装的包】：pip list【搜索包】：pip search （注意：pip search功能在pip 10.0.0之后被弃用，建议使用其他方式搜索包，如访问PyPI官网或使用其他搜索引擎）

一捌柒的博客 2667

写对比学习损失函数有感（关于速度差异、出现nan的情况）

首先分母不能为0，第二分子也不能为0（否则log(0)一样会出问题），所以最好对分子分母都加一个很小的值，比如1e-8。结论：如果用torch.zeros创建数组，还往cuda里放的话，速度会非常慢。结论：在赋值方面np略逊于原生数组，但是没有数量级上的差距。最耗时的，还是创建数组的过程。，这个时候就要小心分母，如果分母是0的话，loss就会变成nan。torch.tensor的数组，以及F.cos的相似度：774。2、使用交叉熵，因为有一个log函数，要注意内部。np的数组，以及np的相似度：686。

weixin_40286308的博客 1448

Advanced Installer打包避坑指南：如何正确配置64位系统下的Java环境与注册表条件（以15.7版本为例）

本文详细解析了使用Advanced Installer 15.7版本在64位系统下打包Java应用时的常见问题与解决方案。重点介绍了注册表重定向机制、Java环境检测的双保险策略、环境变量设置的隐藏坑以及权限管理的进阶技巧，帮助开发者避免安装包在用户机器上无法运行的幽灵问题。

weixin_28676289的博客 322

剔除tensor数组中的异常数值

在网络训练过程中，求tensor数组的平均值时，可以使用。来剔除数组中的异常数值或无穷大数值。假设A为tensor数组。

AplusX 590

从配置文件加载顺序揭秘：为什么你的logback.xml读不到application.yml？

本文深入解析了Spring Boot中logback.xml无法读取application.yml配置的原因，揭示了Spring Boot配置加载机制与日志系统初始化的时序问题。通过对比logback.xml与logback-spring.xml的差异，提供了使用springProperty标签和系统属性传递等解决方案，帮助开发者有效解决日志配置问题。

weixin_29214335的博客 364

PCIe设备内存访问实战：从ioremap到DMA映射的完整流程解析

本文深入解析了PCIe设备内存访问的完整流程，涵盖从CPU通过ioremap访问设备寄存器，到设备通过DMA映射高效读写主机内存的核心机制。详细探讨了虚拟地址、物理地址与总线地址的转换关系，对比了一致性与流式DMA映射的适用场景及同步要点，并阐述了IOMMU在安全与效率中的作用，为驱动开发者提供了实战代码与关键陷阱分析。

weixin_29201933的博客 505

RuntimeError: CUDA error: device-side assert triggered 解决方法

使用fp16的时候，容易报上面的错误解决方法：（1）检查自己的代码实现，数组是否越界 BCELoss之前有没有转到0~1之间（2）这个通常是产生了nan导致数组越界，可以通过如下方式定位nan出现的位置： with torch.autograd.detect_anomaly(): loss.backward() 一般来说是分母为0或者exp的值过大导致的来自mmdetection的isue下大佬的点评，方便debug （3）实现上提高数值稳定性容易出现0**0的

JackHu12345的博客 2320

0基础手把手搭建 Trae\+Seedance2\.0 真人短剧生成智能体（可直接运行）

前言：本文专为0基础新手编写，全程无复杂代码、无专业术语，一步一截图提示（操作路径清晰），只需跟着点鼠标、复制粘贴，就能搭建出可自动生成真人短剧的智能体，生成的短剧可直接导出发布。核心工具：Trae（字节跳动AI IDE，免费）+ Seedance2.0（真人视频生成API，公测免费），无需提前学习编程、设计，全程10-15分钟搞定。适用人群：0基础小白、想快速生成真人短剧（自媒体、短视频创作者）、无需懂技术即可实现自动化短剧生成的人群。

skygulangfendouz的专栏 1058

将数组中的nan值转换为mean值

#!/usr/bin/env python # -*- coding:utf-8 -*- # Author: Jia ShiLin import numpy as np def nan_to_mean(t1): t1[1, 2:] = np.nan for i in range(t1.shape[1]): temp_col = t1[:, i] ...

Jiashilin 568

Investigating Bi-Level Optimization for Learning and Vision from a Unified Perspective: A Survey and

文章首先从双层优化的角度统一表示了超参数优化、多任务和元学习等复杂学习和视觉问题，建立了一个基于最佳响应的单层重构和一个统一的算法框架，来制定一个基于梯度的双层优化方法，最后讨论了该框架的潜力和未来研究方向。...

dawnyi_yang的博客 1110

手把手教你学pcie--内存管理和保护机制（一）：MPU与其他内存管理和保护机制详解

MPU（Memory Protection Unit）是一种专门用于。，这些机制通常协同工作，形成多层防御体系，兼顾安全性、性能和灵活性。

MHD0815的博客 279

pytorch训练一段时间突然出现NaN

一、https://www.cnblogs.com/bonelee/p/8603750.html 相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结。一般来说，出现NaN有以下几种情况： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。 2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原

m0_37192554的博客 1万+

老版QQ原生表情gif动态

这是老版的QQ表情，不过全是动态的的，Windows照片查看器是不会动的，可以右击用浏览器打开查看，再说一遍是老版的，只是分享给宁愿用老版也要动态的人。

PyTorch新手避坑：为什么你的torch.exp()算出来全是nan？从数据类型到激活函数的完整排查指南

本文详细解析了PyTorch中使用torch.exp()函数时常见的NaN问题，从数据类型检查、数值范围分析到梯度回溯，提供了完整的排查指南和解决方案。通过实例代码和工程实践建议，帮助开发者避免指数爆炸和数值不稳定问题，提升深度学习模型的训练稳定性。

weixin_30520015的博客 562

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明，包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

蓝牙模块HM-10手册

蓝牙模块HM-10手册，该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

如何检查张量中是否存在的nan和inf呢？＆检查张量的数据类型

passion！！！

qq_43701910的博客 696

PyTorch torch.max底层原理与工程避坑指南

torch.max是PyTorch中关键的张量维度聚合算子，其本质并非简单取最大值，而是遵循‘维度压缩+计算图保全’的设计原则，通过返回(values, indices)二元组支持可导、可广播、可复现的极值提取。它在分类预测、通道注意力、序列掩码和硬样本挖掘等场景中承担核心角色，但极易因dim理解偏差、keepdim误设、dtype不匹配或设备混用引发shape错乱、梯度截断、显存溢出等生产级故障。掌握其与torch.topk的分工边界、对nan_policy的支持差异及多维压缩坐标系建模方法，是构建稳定深

weixin_30421809的博客 478

PyTorch torch.max 三重身份：数值提取、维度控制与梯度路由

torch.max 是 PyTorch 中最易被低估的核心张量操作之一，它远不止于‘找最大值’——本质上是融合数值计算、形状变换与自动微分控制的复合算子。其原理基于沿指定维度压缩张量并返回极值与索引，同时保持计算图完整性；技术价值体现在精准控制梯度流向、避免维度错位及支撑可微分决策逻辑；广泛应用于图像分类预测解码（如 dim=1 提取类别置信度）、NLP 序列标注（dim=-1 获取 token 标签）、对比学习 hard mining（利用 values 可导性）等关键场景。深入理解 torch.max

aoe41606的博客 416

PyTorch初学者指南：torch.where详解

今天就把我的学习笔记整理出来，希望能帮到同样刚入门的小伙伴们。简单来说，它会逐个检查条件张量中的每个元素，如果为True就选第一个结果的值，False则选第二个结果的值。假设我们有两个长度相同的向量，想要根据第三个条件向量的值来选择元素。这个例子可以帮助理解最基本的用法，相当于在张量上的if-else操作。这个例子展示了更复杂的广播行为，以及如何用一行代码完成矩阵的条件处理。比如我们要实现一个"如果x大于0就返回1，否则返回-1"的功能。的用法时，修改代码和查看结果都非常顺畅，推荐大家也试试看。

RubyLion28的博客 361

PyTorch小技巧：用torch.histc给你的数据分布画个像（附与np.histogram对比）

本文深入探讨了PyTorch中的`torch.histc`函数在数据分布可视化中的应用，并与NumPy的`np.histogram`进行了详细对比。通过实际代码示例，展示了如何利用`torch.histc`高效计算直方图，特别强调了其在GPU加速和大规模数据处理中的优势。文章还提供了高级应用场景如语义分割IoU计算和动态范围确定技巧，帮助开发者更好地理解和应用这一工具。

weixin_33737774的博客 330

【PyTorch】torch.topk()实战指南：从基础用法到推荐系统应用

本文详细介绍了PyTorch中torch.topk()函数的基础用法和高级技巧，包括多维张量操作、推荐系统应用、模型评估等实际场景。通过实战示例展示了如何高效获取张量中的前K个最大或最小值，并提供了性能优化和常见问题的解决方案，帮助开发者更好地应用这一功能。

code8的博客 599

PyTorch动态计算图机制与优化实践

动态计算图是现代深度学习框架的核心机制之一，它允许在代码运行时构建和修改计算流程。与静态图相比，动态图提供了更直观的调试体验和开发灵活性，特别适合研究型项目和快速原型开发。PyTorch通过Autograd模块实现自动微分，每个张量都维护着梯度计算所需的关键属性。在实际工程中，合理使用detach()分离计算图、采用梯度累积技术以及混合精度训练等方法，可以显著提升模型训练效率。这些技术在自然语言处理、计算机视觉等领域有广泛应用，特别是在处理可变长度输入或实现复杂控制流时，动态图的优势尤为突出。

weixin_30251829的博客 425

上一篇：使用mmsegmentation训练自己的模型

自动微分实战指南：从计算图原理到梯度调试避坑

anque1234的博客

06-16

445