PyTorch时遇到了runtime error(59):device-side assert triggered at XXX debug

最新推荐文章于 2025-09-03 17:08:55 发布
原创 最新推荐文章于 2025-09-03 17:08:55 发布 · 270 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种通过设置环境变量CUDA_LAUNCH_BLOCKING为1来更准确地捕获和解决CUDA相关错误的方法。无论是通过命令行运行脚本还是在Jupyter环境中，此方法都能帮助开发者定位并解决GPU编程中遇到的问题。
部署运行你感兴趣的模型镜像

加入一行代码/命令启动脚本

1.如果使用命令来启动脚本的话可以试试用下面这个方式来启动脚本，理论上可以看到更加准确的报错信息。
命令是：

CUDA_LAUNCH_BLOCKING=1

例如：

CUDA_LAUNCH_BLOCKING=1 python train.py

2.如果是Jupyter，那么就在各种import之后加入这一行就行了：

import os
os.environ[‘CUDA_LAUNCH_BLOCKING’] = “1”

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

CUDA error: device-side assert triggered
jacke121的专栏
03-11 1万+
CUDA error: device-side assert triggered 我这是因为没有归一化，loss为nan了。
RuntimeError: CUDA error: device-side assert triggered
gy77
08-07 3524
RuntimeError: CUDA error: device-side assert triggered Assertion ^idx_dim >= 0 && idx_dim < index_size && "index out of bounds" failed Assertion `input_val >= zero && input_val
CUDA error: device-side assert triggered的其中一个解决方法——数据集标签
最新发布
Jacknbv的博客
09-03 815
摘要：CUDA内核运行时触发assert失败但未立即暴露，可能在后续NCCL通信中才显现。建议使用TORCH_USE_CUDA_DSA启用设备端断言。主要原因可能包括：1)标签索引越界；2)非法张量操作；3)NaN或无效值。解决方法包括检查标签范围、映射负数类别ID等。针对D-FINE模型，可参考相关博客和代码（如coco_dataset.py）进行调试优化。
CUDA ERROR: device-side assert triggered
weixin_43519985的博客
10-13 910
# device-side assert triggered operator(): block: [116,0,0], thread: [95,0,0] Assertion `index >= -sizes[i] && index < sizes[i] && "index out of bounds"` failed. 在网上的很多资料都说这个问题是索引有问题 从报错行一行行向上check,发现确实存在索引出错的问题 在我的代码中，需要一个广播的功能 类似于，
PyTorch CUDA runtime error (59) : device-side assert triggered
dongfangxiaozi_的专栏
12-13 539
出现这个问题原因很多，尤其是使用Jupyter时，一般而言，都是代码出错，或者多次运行。检查输入和模型是否批评。例如 在运行BertModel时，如果num_labels指定错了，和你输入不匹配，就会造成这种问题。 bert_config = BertConfig(vocab_size_or_config_json_file=30522, ...
Pytorch报错：device-side assert triggered
celina0321的博客
03-03 1128
使用pytorch框架训练神经网络时，可能会遇到如下错误，或者类似的错误： /pytorch/aten/src/ATen/native/cuda/Loss.cu:106: ... Assertion 'input_var >= zero && input_var < one' failed. ... ...device-side assert triggered 遇到过两次都与pytorch内置的损失函数有关： 1. 类别错误——分类网络输出类别维度与target的范围.
BUG解决：RuntimeError: CUDA error: device-side assert triggered
yscript的博客
07-10 871
BUG解决：RuntimeError: CUDA error: device-side assert triggered. 可能是类别不对等造成。
PyTorch报错：RuntimeError: CUDA error: device-side assert triggered at /pytorch/aten/src/THC/generic
qq_43349542的博客
10-15 2501
报错显示： RuntimeError: cuda runtime error (710) : device-side assert triggered at C:/cb/pytorch_1000000000000/work/aten/src\THC/generic/THCTensorMath.cu:29 用gpu运行不能显示出真正的错误原因，把模型和数据放在cpu上运行显示： return torch._C._nn.cross_entropy_loss(input, target, weight, _Re
RuntimeError: CUDA error: device-side assert triggered 问题的解决思路
Penta_Kill_5的博客
06-21 10万+
问题如下： RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
Pytorch报错RuntimeError: CUDA error: device-side assert triggered
qq_43369406的博客
03-19 841
有很多愿意会导致这个CUDA triggered的Error，我的问题是在于网络前半部分都是卷积层，在最后一层使用了全连接层，而在最后一层我的输出并没有和类别相匹配。例如，原先多分类我用的是十个类别，更改成二十二种类别后忘记改输出的类别了，将类别和输出channel相匹配便解决了。
亲测解决CUDA error: device-side assert triggered
狂小虎/Anthony Dave的博客 KuangXiaoHu's Blogs
01-16 1736
这个问题小虎今天刚刚遇到，问题原因有很多。但是由于使用了cuda运行，报错看不出来。解决方法是用cpu运行来看错误出在哪里。
完美解决-RuntimeError: CUDA error: device-side assert triggered
jh035的博客
11-23 6629
epoch： 1 的第 0 个inputs torch.Size([8, 3, 224, 224]) labels tensor([4, 4, 3, 4, 4, 4, 4, 4])epoch： 1 的第 4 个inputs torch.Size([8, 3, 224, 224]) labels tensor([3, 4, 2, 4, 1, 1, 4, 1])
pytorch 报错：synchronize: device-side assert triggered
jiuhu7的博客
10-28 325
参考这篇博客：https://blog.youkuaiyun.com/sinat_29957455/article/details/95493564 通过减少学习速率解决了这个问题
解决PyTorch中的RuntimeError: CUDA error: device-side assert triggered
沉淀所学，分享所思，让热爱与成长同行。商务记录AI实战经验，助力开发者快速成长。 热爱AI，希望做出有影响力的技术成果。 技术点亮生活，分享连接价值与机会。 专注AI落地实战，陪你走好技术每一步。
07-08 8万+
大家好，我是默语，擅长全栈开发、运维和人工智能技术。在这篇文章中，我将深入探讨如何解决PyTorch中的一个常见错误：RuntimeError: CUDA error: device-side assert triggered。这个错误常常让开发者头疼，因为它涉及到GPU设备的断言错误，可能会导致程序崩溃。通过本文的详细分析和代码示例，希望帮助大家顺利解决这个问题，提高模型的运行效率。在PyTorch中，张量的数据类型必须与模型的预期类型匹配。如果存在不匹配，可能会导致CUDA设备上的断言失败。
CUDA ERROR: device-side assert triggered at 问题及解决思路
热门推荐
qq_31049727的博客
05-29 10万+
cuda error RuntimeError: cuda runtime error (59) : device-side assert triggered at ... 我之前还以为是因为GPU抽风了引发的BUG，所以第一次没有在意，直接又重新开始运行了一次，但是第二次就发现程序在同样的地方断掉了，这也就想起来我以前看到的一个博客，里面有句话的大概意思是这样的： 每次都在同样的地方出错的...
mmdetection出现：RuntimeError: CUDA error: device-side assert triggered
03-16
### mmdetection 中 CUDA 错误解决方案 `RuntimeError: CUDA error: device-side assert triggered` 是一种常见的运行时错误，通常表明程序执行过程中出现了某种异常情况。尽管该错误提示与 CUDA 设备相关，但它可能由多种原因引起，包括但不限于数据预处理不当、模型配置错误以及数值计算中的不稳定现象。 以下是针对此问题的具体分析和解决策略： #### 数据标签范围验证 如果在分类任务中遇到此类错误，需确认训练数据的标签是否超出了预期类别数量。即使初步检查未发现问题，仍建议通过以下代码进一步排查是否存在非法标签： ```python import numpy as np def check_labels(labels, num_classes): invalid_indices = np.where((labels < 0) | (labels >= num_classes))[0] if len(invalid_indices) > 0: print(f"Invalid labels found at indices: {invalid_indices}") else: print("All labels are within the valid range.") check_labels(your_dataset_labels, your_num_classes) ``` 上述脚本可以检测是否有任何标签超出 `[0, num_classes)` 的合法区间[^2]。 #### 数值稳定性检查 当损失函数或梯度计算涉及不稳定的数值操作（如除零、取对数负数等），可能会导致 `NaN` 或无穷大值传播到后续层，从而触发设备断言失败。为了精确定位这些潜在问题，可启用 PyTorch 提供的自动异常检测工具： ```python with torch.autograd.detect_anomaly(): loss.backward() ``` 一旦开启此模式，在反向传播期间发生任何异常都会立即抛出更详细的调试信息，便于快速锁定问题源头[^3]。 #### 配置文件一致性校验 有时，加载预训练权重时若网络结构定义与保存状态字典之间存在差异也会引发类似的崩溃行为。因此有必要仔细对比当前使用的 config 文件同所依赖的基础 backbone 是否完全匹配。例如下面日志就显示两者未能完美契合： > The model and loaded state dict do not match exactly. 对于这种情况，要么调整自己的实现使之适应官方提供的 checkpoint ，要么重新初始化那些缺失参数而不继承它们初始值[^4]。 综上所述，要彻底消除 `RuntimeError: CUDA error: device-side assert triggered` 这类故障，应该从以下几个方面入手逐一排除隐患：核查输入样本标注合法性；增强运算过程稳健性防止意外生成不良数值；最后还要确保整个框架搭建遵循既定标准无偏差。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值