BUG解决：RuntimeError: CUDA error: device-side assert triggered

最新推荐文章于 2025-04-17 11:04:18 发布

yscript

最新推荐文章于 2025-04-17 11:04:18 发布

阅读量746

点赞数 3

分类专栏：环境调试和BUG解决文章标签： bug linux 运维人工智能服务器

本文链接：https://blog.youkuaiyun.com/m0_59741202/article/details/140312705

版权

文章目录

完整信息
报错原因
修改方式

完整信息

/cuda/ScatterGatherKernel.cu:144: operator(): block: [0,0,0], thread: [0,0,0] Assertion `idx_dim >= 0 && idx_dim < index_size && "index out of bounds"` failed.

loss_value = loss.item

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

yscript

关注关注

3
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Bug小能手系列(python)_13: RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors might

走在深度学习前沿的小宋

10-30

9904

RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_BLOCKING=1. 报错解决方案

关于CUDA error: device-side assert triggered问题小技巧

我的技术栈碎碎念空间

08-12

833

耐心debug，但是在多线程代码中无法使用pdb来调试，听说可以关掉多线程或者不用gpu跑，就可以调试并显示出出错的代码位置了。遇到这种cuda的越界bug，可以优先查看是不是scatter代码处出现越界！去仔细检查mask的维度能否存得下topk的值。

参与评论您还未登录，请先登录后发表或查看评论

RuntimeError: CUDA error: device-side assert triggered

kecilimu的博客

10-03

1652

正常情况下你看到这个报错信息的时候，前面还有会有一大堆Blocking的报错。

RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors might be asynchronously

热门推荐

dont worry about it的博客

05-13

9万+

报错： RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_BLOCKING=1. Compile with `TORCH_US

Bug-CUDA error:device-side assert triggered

m0_58000783的博客

06-17

206

CUDA error:device-side assert triggered的labels索引越界详细分析

Pytorch错误：cuda runtime error (59): device-side assert triggered at THC

噢啦啦耶的博客

04-24

2081

参考资料：https://blog.youkuaiyun.com/Geek_of_优快云/article/details/86527107 今天在复现一份代码的过程中，遇到了一个很神奇的错误——RuntimeError: cuda runtime error (59): device-side assert triggered at …/aten/src/THC/THCCachingHostAlloca...

RuntimeError: CUDA error: device-side assert triggered CUDA kernel

weixin_43918682的博客

11-17

670

报错：RuntimeError: CUDA error: device-side assert triggered CUDA kernel 看起来是 runtimeerror，指向性很模糊，其实是 index溢出的问题，比如你的loss_list,data,或者什么数组的取值超出范围了，特此记录，找了一天。。。。哈！ ...

（已解决）RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors

qq_43391414的博客

11-02

1万+

报错原因：大概率是因为：代码有地方数组越界。盲猜是在交叉熵损失函数那里，反正我是在这里。小概率是其他原因。不过，下面的解决办法是通用的。解决办法：先device=“cpu”，运行一遍，可以定位到数组越界的地方，修改代码。保证正确了之后再放在GPU上跑。 ...

解决： RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors might be

python_innocent的博客

03-27

4479

主要可能出现的原因：1.传入传出的通道数不对；2.net最终全连接输出的class数目对不上labels；3. devices没有具体到某一个，而是一个list;4. 关了重新再连。建议先用一个单tensor如下，进行检验net的输入输出正确性，再放到dataset上。笔者首先尝试了前三个，结果还是报这个错，确认修改无误了把这玩意关了，再打开，正常运行了。

RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors might be

u010674979的博客

05-07

267

在做分类模型代码训练的时候报错，这个是因为分类标签应该从0开始，我是从1开始的所以出问题了。比如第一类标签为0，第二类为2，。以此类推，第n类为N-1。分类标签应该为：label = 类别-1，修改后即可解决。

RuntimeError: CUDA error: device-side assert triggered CUDA

cfy2401926342的博客

03-17

182

换到了cpu上，果然爆出了真正的错误！愿世界没有代码bug。

记录：RuntimeError: CUDA error: device-side assert triggeredCUDA kernel errors might be asynchronous

当代优秀青年的学习博客

06-20

427

可能是数据集类别标签错误定义导致的，在脚本文件中定义了五类，运行出错！2. voc_classes() 修改。1.在voc.py中修改。

运行时出现 RuntimeError: CUDA error: device-side assert triggered 错误提示

Catcher

12-22

2578

问题描述原本运行时正确的，但是更换了分词器后突然就出现下面的错误提示： RuntimeError: CUDA error: device-side assert triggered 问题原因很可能是数据越界问题，在NLP中很可能出现在词嵌入那块，比如词表一共有1000个词，那么输入的token id 的范围应该是0-999，如果你的输入token id 包含了1001，或者更大的值，那么在进行词嵌入的时候，嵌入矩阵无法索引到这么大的位置，就会出现越界问题。这个问题还可能出现在输出上，比如你的输出标签只有

pytorch训练的时候遇到RuntimeError: CUDA error: device-side assert triggered

baidu_34172099的博客

10-22

2512

RuntimeError: CUDA error: device-side assert triggered 在pytorch训练的时候遇到这个错误，查询一下原因的确是标签越界，这里与Python起始是从0有关。需要对标签进行细心的处理才可以。但是这里要讲解的不是这个，而是我是在预测位置点何来的标签越界？？下面讲解这个错误处理办法： RuntimeError: CUDA error: device-side assert triggered 首先检查自己的标签是否从0开...

mmdetection出现：RuntimeError: CUDA error: device-side assert triggered

03-16

### mmdetection 中 CUDA 错误解决方案 `RuntimeError: CUDA error: device-side assert triggered` 是一种常见的运行时错误，通常表明程序执行过程中出现了某种异常情况。尽管该错误提示与 CUDA 设备相关，但它可能由多种原因引起，包括但不限于数据预处理不当、模型配置错误以及数值计算中的不稳定现象。以下是针对此问题的具体分析和解决策略： #### 数据标签范围验证如果在分类任务中遇到此类错误，需确认训练数据的标签是否超出了预期类别数量。即使初步检查未发现问题，仍建议通过以下代码进一步排查是否存在非法标签： ```python import numpy as np def check_labels(labels, num_classes): invalid_indices = np.where((labels < 0) | (labels >= num_classes))[0] if len(invalid_indices) > 0: print(f"Invalid labels found at indices: {invalid_indices}") else: print("All labels are within the valid range.") check_labels(your_dataset_labels, your_num_classes) ``` 上述脚本可以检测是否有任何标签超出 `[0, num_classes)` 的合法区间[^2]。 #### 数值稳定性检查当损失函数或梯度计算涉及不稳定的数值操作（如除零、取对数负数等），可能会导致 `NaN` 或无穷大值传播到后续层，从而触发设备断言失败。为了精确定位这些潜在问题，可启用 PyTorch 提供的自动异常检测工具： ```python with torch.autograd.detect_anomaly(): loss.backward() ``` 一旦开启此模式，在反向传播期间发生任何异常都会立即抛出更详细的调试信息，便于快速锁定问题源头[^3]。 #### 配置文件一致性校验有时，加载预训练权重时若网络结构定义与保存状态字典之间存在差异也会引发类似的崩溃行为。因此有必要仔细对比当前使用的 config 文件同所依赖的基础 backbone 是否完全匹配。例如下面日志就显示两者未能完美契合： > The model and loaded state dict do not match exactly. 对于这种情况，要么调整自己的实现使之适应官方提供的 checkpoint ，要么重新初始化那些缺失参数而不继承它们初始值[^4]。综上所述，要彻底消除 `RuntimeError: CUDA error: device-side assert triggered` 这类故障，应该从以下几个方面入手逐一排除隐患：核查输入样本标注合法性；增强运算过程稳健性防止意外生成不良数值；最后还要确保整个框架搭建遵循既定标准无偏差。