pytorch nan解决方法笔记

已于 2024-11-29 14:35:59 修改
阅读量5.7k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： pytorch知识宝典 文章标签： pytorch 笔记 人工智能
于 2018-10-03 16:04:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jacke121/article/details/82932184
本文记录了在PyTorch中遇到的NaN值问题及其解决方案，包括卷积层后数值变为-inf导致BN层出现NaN，以及在除以零时引发的异常。提出可以通过使用torch.clip限制值范围，以及在训练中使用nn.LogSoftmax代替softmax+log来提高数值稳定性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

了解本专栏 订阅专栏 解锁全文 超级会员免费看
pytorch判断NaN
jacke121的专栏
03-31 9544
pytorch判断NaN You can always leverage the fact thatnan != nan: data = torch.tensor([1, 2, np.nan]) tensor([ 1., 2., nan.]) data[data != data] tensor([ 0, 0, 1], dtype=torch.uint8) Wi...
Pytorch训练时报nan
体会编程语言独到的美
11-07 1014
介绍Pytorch训练时nan产生后的排查和规避方法。
pytorch训练过程中出现nan的排查思路
上帝是个娘们的博客
12-11 2万+
最常见的就是出现了除0或者log0这种，看看代码中在这种操作的时候有没有加一个很小的数，但是这个数数量级要和运算的数的数量级要差很多。一般是1e-8。 在optim.step()之前裁剪梯度。 optim.zero_grad() loss.backward() nn.utils.clip_grad_norm(model.parameters, max_norm, norm_type=2) optim.step() max_norm一般是1，3，5。 前面两条还不能解决nan的话，就按照下面的流程来判.
pytorch训练出现nan是什么意思
夏目里奇的博客
01-05 1万+
1.背景 训练时忽然发现某几项loss变成了nan。 2.nan的含义 nan值在python往往可以直接与无穷大，无穷小等价。 常见根本来源： a/0 log(0) 空索引 第一个常见例子: loss/posnumloss / posnumloss/posnum，希望根据正例个数平分loss，却忽视pos_num可能为0，也就是图片中没有正例，常见解决loss/(0.0001+num)loss/(0.0001 + num)loss/(0.0001+num)或者if判断； 第二个常见例子：l
Pytorch训练过程出现nan的解决方式
12-23
今天使用shuffleNetV2+，使用自己的数据集，遇到了loss是nan的情况，而且top1精确率出现断崖式上升，这显示是不正常的。 在网上查了下解决方案。我的问题是出在学习率上了。 我自己做的样本数据集比较小，就三类，每类大概三百多张，初始学习率是0.5。后来设置为0.1就解决了。 按照解决方案上写的。出现nan的情况还有以下几种： 学习率太大，但是样本数据集又很小。（我的情况） 自定义的loss除以了一个很小的数字，小到接近0。 数据不干净，数据本身就有nan，可以用numpy.isnan检查。 target，即label是大于等于0的。从1到类别数目-1变化。 以上这篇Pytorc
PyTorch 笔记
sumatch的博客
04-07 1334
PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由C++实现，应用于人工智能领域，如计算机视觉和自然语言处理。PyTorch 最初由 Meta Platforms 的人工智能研究团队开发，现在属 于Linux 基金会的一部分。PyTorch 特性：动态计算图： PyTorch 的计算图是动态的，在执行时构建计算图，这意味着在每次计算时，图都会根据输入数据的形状自动变化。这为实验和调试提供了极大的灵活性，因为开发者可以逐行执行代码，查看中间结果。张量计算。
动手学深度学习 PyTorch版_个人笔记
nmslnmsl_n的博客
03-10 5731
day01 b站：https://space.bilibili.com/1567748478/channel/seriesdetail?sid=358497 教材：https://zh-v2.d2l.ai/chapter_preface/index.html#sec-code 03 安装 我没有按照他的来 我使用的是anaconda 1）anaconda prompt 2) cd 到下载好的jupyter记事本位置 3）jupyter notebook 即可 04 数据操作+数据预处理 （沐神没告诉我在ju
个人学习笔记1：动手学深度学习pytorch版-李沐
浪子L的博客
08-31 1662
主要记录学习笔记，学习书目为李沐老师的《动手学习深度学习》 重预备知识开始记录。 开源书籍地址：https://zh-v2.d2l.ai/chapter_preface/index.htmll 李沐老师B站视频：https://space.bilibili.com/1567748478/channel/seriesdetail?sid=358497
Pytorch入门学习笔记（三）—— 神经网络
tryflyhigh的博客
04-22 1784
本文结合小土堆的教学视频进行学习。
pytorch排查loss值出现nan的情况
qq1803291168
11-03 1712
pytorch 排查 loss值为 nan 的情况
Pytorch定位NaN
danmeng8068的博客
09-02 6555
https://blog.youkuaiyun.com/mch2869253130/article/details/111034068 https://www.zzsblog.top/coding/2021/08/07/pytorch%E5%AE%9A%E4%BD%8DNaN.html 按照下面的流程来判断。 ... loss = model(input) # 1. 先看loss是不是nan,如果loss是nan,那么说明可能是在forward的过程中出现了第一条列举的除0或者log0的操作 assert tor
pytorch训练一段时间突然出现NaN
m0_37192554的博客
10-21 1万+
一、https://www.cnblogs.com/bonelee/p/8603750.html 相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结。 一般来说，出现NaN有以下几种情况： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。 2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原
pytorch nan问题
星之所望的博客
02-25 1053
pytorch nan 判断方法： if torch.isnan(tmploss): 解决方法： loss_t_conf=0 if target[target ==1].size()>torch.Size([0]): loss_t_conf = self.bce_loss(out[target ==1], target[target ==1])...
Torch 和 Numpy 出现NAN解决方法
Forrest97的博客
01-24 6792
在训练过程中，在确保数据没有异常的情况。由于自定义loss中出现了除数为0或对数为0的情况，导致无法计算得到数字就会得到NAN，然后loss.backward()就会导致整个网络的权重数值都变成NAN。直接导致网络无法计算。 所以在网络训练过程中需要对NAN进行检测和处理。 NAN检测 如果只是一个简单的标量，直接使用isnan进行判据 torch.isnan(loss) 如果只是一个相对复杂的矢量，则需要使用结合.int().sum()对nan进行计数，判据大于0 torch.isnan(loss).i
Deep Learning 之 训练过程中出现NaN问题
BVL的博客
07-25 1万+
相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结。 一般来说，出现NaN有以下几种情况： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。 2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN
python-torch 训练过程中发现模型输出是NAN
随笔
03-29 763
python-torch 训练过程中发现模型输出是NAN
Pytorch训练模型损失Loss为Nan或者无穷大（INF）原因
热门推荐
ytusdc的博客
02-12 7万+
常见原因-1 一般来说，出现NaN有以下几种情况： 相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。 2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原因，一个有效的方式是增加“gradient clipping”（梯度截断来解决）
用3050ti训练深度学习模型，gpu0的利用率是0
最新发布
07-22
<think>我们面对的问题是：使用RTX 3050 Ti训练深度学习模型时，GPU0利用率为0。根据引用[3]中的类似问题（SolidWorks渲染时GPU使用率为0），我们可以推测可能是软件环境或驱动问题导致GPU未被调用。下面将系统性地排查此问题。 ### 🔍 问题排查步骤 #### 1. **验证GPU驱动和CUDA环境** - 运行`nvidia-smi`检查驱动状态： ```bash nvidia-smi ``` 正常情况应显示GPU信息、驱动版本和运行进程。若未显示或显示错误，需重新安装驱动[^2]。 - 检查CUDA是否可用（PyTorch环境）： ```python import torch print(torch.cuda.is_available()) # 应为True print(torch.cuda.device_count()) # 应≥1 ``` 若返回`False`，则CUDA环境异常。 #### 2. **检查PyTorch与CUDA版本匹配** - 3050 Ti需CUDA 11.x+支持（Ampere架构）[^2]。 - 执行以下代码查看环境： ```python print(torch.__version__) print(torch.version.cuda) # 应与安装的CUDA版本一致 ``` - 版本不匹配解决方案： - 卸载PyTorch：`pip uninstall torch` - 根据[CUDA版本](https://pytorch.org/)重新安装，例如CUDA 11.6： ```bash pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu116 ``` #### 3. **确认模型和数据是否在GPU上** - 错误示例（模型/数据在CPU）： ```python model = MyModel() # 默认在CPU data = next(train_loader) # 数据在CPU ``` - 正确写法： ```python device = torch.device("cuda:0") model = MyModel().to(device) data = data.to(device) ``` #### 4. **监控GPU使用情况** - 使用`watch -n 0.1 nvidia-smi`实时观察： - 若训练开始后GPU仍无利用率，说明计算未在GPU执行。 - 使用PyTorch性能分析： ```python with torch.profiler.profile(use_cuda=True) as prof: train_one_epoch() print(prof.key_averages().table()) ``` ### 🛠️ 解决方案 #### 情况1：CUDA不可用（驱动/CUDA问题） - **更新驱动**：到[NVIDIA官网](https://www.nvidia.com/Download/index.aspx)下载最新驱动。 - **重装CUDA**：安装与驱动兼容的CUDA版本（建议11.6+）。 #### 情况2：PyTorch版本错误 - 安装支持Ampere架构的PyTorch（≥1.8.0）： ```bash # CUDA 11.3示例 pip install torch==1.12.0+cu113 torchvision==0.13.0+cu113 torchaudio==0.12.0 --extra-index-url https://download.pytorch.org/whl/cu113 ``` #### 情况3：代码未指定GPU - 显式设置设备： ```python device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') model.to(device) for batch in dataloader: inputs, labels = batch[0].to(device), batch[1].to(device) ... ``` #### 情况4：数据加载瓶颈（CPU预处理阻塞GPU） - 优化`DataLoader`： ```python DataLoader(dataset, num_workers=4, pin_memory=True) ``` - 减少数据预处理复杂度。 ### 📊 诊断流程图 ```mermaid graph TD A[GPU利用率=0] --> B{运行 nvidia-smi} B -->|无输出| C[重装NVIDIA驱动] B -->|有输出| D[检查PyTorch CUDA可用性] D -->|False| E[重装匹配的PyTorch+CUDA] D -->|True| F[检查代码设备分配] F -->|模型/数据在CPU| G[添加.to device] F -->|已在GPU| H[分析数据加载] H --> I[优化num_workers/pin_memory] ``` > ⚠️ 注意：3050 Ti为笔记本GPU时可能受电源管理限制，需接通电源并设置高性能模式[^3]。 ### 相关问题 1. 如何确认PyTorch是否成功识别到RTX 3050 Ti显卡？ 2. 训练时GPU利用率波动大（0%-100%）如何优化？ 3. 笔记本GPU训练时温度过高怎么处理？ 4. PyTorch多GPU训练时如何指定单卡？ [^1]: 硬件环境与驱动版本直接影响GPU可用性 [^2]: CUDA版本需与显卡架构严格匹配 [^3]: 移动端GPU可能受系统电源策略限制</think>### 🔍 RTX 3050 Ti 训练时 GPU 利用率为 0 的排查与解决方案 根据引用[3]中类似案例（SolidWorks渲染时GPU使用率为0），结合深度学习训练场景，以下是系统化排查流程： --- #### ⚙️ 阶段一：基础环境验证 1. **驱动与CUDA兼容性** - 执行命令检查驱动状态： ```bash nvidia-smi # 查看GPU是否被识别 ``` - **关键检查项**： - 驱动版本 ≥ 511.65（3050 Ti需支持Ampere架构）[^2] - CUDA版本 ≥ 11.1（PyTorch需匹配） - **解决方案**： ```bash # 卸载旧驱动 sudo apt purge nvidia-* # 安装最新驱动（推荐470+） sudo apt install nvidia-driver-510 ``` 2. **PyTorch环境验证** ```python import torch print(torch.cuda.is_available()) # 必须返回True print(torch.cuda.device_count()) # 应≥1 print(torch.cuda.get_device_name(0)) # 应显示"RTX 3050 Ti" ``` --- #### 🛠️ 阶段二：代码级排查 3. **设备分配错误** - **典型错误**：模型/数据未移入GPU ```python # 错误示例（未指定设备） model = MyModel() data = next(train_loader) # 正确写法 device = torch.device("cuda:0") model = MyModel().to(device) # 模型移入GPU data = data.to(device) # 数据移入GPU ``` 4. **数据加载瓶颈** - **现象**：CPU预处理阻塞GPU计算 - **优化方案**： ```python DataLoader( dataset, batch_size=32, num_workers=4, # 建议设为CPU物理核心数 pin_memory=True, # 加速CPU→GPU传输 persistent_workers=True ) ``` --- #### 🔧 阶段三：硬件与系统优化 5. **电源与散热限制**（笔记本常见） - 进入NVIDIA控制面板 → 管理3D设置 → 电源管理模式 → **最高性能优先** - 禁用Windows电源限制： ```powershell powercfg /setactive SCHEME_MIN ``` 6. **GPU锁频问题** - 安装`pyNVML`监控频率： ```python from pynvml import * nvmlInit() handle = nvmlDeviceGetHandleByIndex(0) print(nvmlDeviceGetClockInfo(handle, NVML_CLOCK_GRAPHICS)) # 正常应≥1000MHz ``` - 若频率过低：更新BIOS/禁用第三方超频软件 --- #### 💡 进阶解决方案 7. **强制启用GPU计算** 在训练脚本开头添加： ```python import os os.environ["CUDA_VISIBLE_DEVICES"] = "0" # 强制指定GPU0 ``` 8. **混合精度训练**（降低显存压力） ```python from torch.cuda.amp import autocast, GradScaler scaler = GradScaler() with autocast(): outputs = model(inputs) loss = criterion(outputs, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() ``` --- ### 📊 诊断流程图 ```mermaid graph TD A[GPU利用率=0] --> B{驱动/CUDA正常？} B -->|No| C[更新驱动+重装CUDA] B -->|Yes| D{torch.cuda.is_available True？} D -->|No| E[检查PyTorch与CUDA版本匹配] D -->|Yes| F[检查模型/数据是否在GPU] F -->|No| G[添加.to device] F -->|Yes| H[优化DataLoader参数] H --> I[检查电源/散热限制] I --> J[启用混合精度训练] ``` > ⚠️ 若以上步骤无效，可能是硬件故障，建议使用`FurMark`进行GPU压力测试[^3]。 --- ### 相关问题 1. 如何检测PyTorch与CUDA版本的兼容性？ 2. 笔记本GPU训练时如何避免过热降频？ 3. DataLoader的`num_workers`设置多少最合理？ 4. 混合精度训练导致NaN损失值如何解决？ [^1]: GPU利用率低需综合排查驱动、代码和硬件限制 [^2]: 3050 Ti需特定驱动版本支持Ampere架构特性 [^3]: 外部软件冲突可能导致GPU未被调用
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI算法网奇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值