RuntimeError: CUDA error: device-side assert triggered

原创于 2024-10-12 14:36:52 发布 · 267 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python

部署运行你感兴趣的模型镜像

RuntimeError: CUDA error: device-side assert triggered

File "ddp/run.py", line 225, in train target =torch.from_numpy(images_train[i_test]).cuda() RuntimeError: CUDA error: device-side assert triggered
cu:92: operator(): block: [3825,0,0], thread: [31,0,0] Assertion index >= -sizes[i] && index < sizes[i] && “index out of bounds” failed. train()

提示：这里报错是指数组越界了！！！！！！
但是报错不是这一行，而是上一行！

代码如下（示例）：

    test = rgbshdr[i_test]
    target =torch.from_numpy(images_train[i_test]).cuda()

在这里插入图片描述

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch

Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Hello_boke

关注关注

3
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

RuntimeError: CUDA error: device-side assert triggered 问题的解决思路

Penta_Kill_5的博客

06-21

10万+

问题如下： RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_BLOCKING=1.

yolov8自定义数据训练报错排查（CUDA error: an illegal memory access was encountered）

Awesome Computer Vision, 做计算机视觉的程序员

08-03

3413

可以正常训练，出问题的版本是pytorch 1.13.1。若有碰到相似问题的，不妨换一个pytorch版本。github上有人说是由于数据集中标签有问题，不过我处理了一遍数据，并没有这种情况。

参与评论您还未登录，请先登录后发表或查看评论

../aten/src/ATen/native/cuda/IndexKernel.cu:92: operator(): block: [651,0,0], thread: [127,0,0] Asse

记录我目之所及的世界

11-25

4496

../aten/src/ATen/native/cuda/IndexKernel.cu:92: operator(): block: [651,0,0], thread: [51,0,0] Assertion `-sizes[i]

关键点检测实战：人体关键点检测

06-21

从零开始，讲解数据标注、数据集制作、模型训练、模型测试、模型优化、环境搭建等方面内容，让学习者能够快速学到AI图像领域关键点技术，应用到实际的工作中去。

yolo报错RuntimeError: CUDA error: device-side assert triggered

m0_64913373的博客

04-10

2270

此问题是由于数据集配置有误，导致类别id与yaml文件中的索引号匹配不上导致的，这里我以为hrsid数据集为例，由于该数据集在标注时默认从1开始索引，这与yolo从0开始的不匹配，因此如果直接使用通用的coco2yolo脚本进行转换后，进行训练就会报错。该数据集只有一个类别，但索引却是1，因此我们需要修改coco2yolo脚本，找到你的脚本对应的id部分。这时候我们打开转换后的任意一个标注文件。其他的脚本大同小异，修改后开始炼丹！

BUG解决：RuntimeError: CUDA error: device-side assert triggered

最新发布

yscript的博客

07-10

880

BUG解决：RuntimeError: CUDA error: device-side assert triggered. 可能是类别不对等造成。

Debug Pytorch: RuntimeError: CUDA error: device-side assert triggered

yuetan的博客

06-07

503

我这里只要to device就报错了。把to device注释掉，可以解决问题。首先采用普通的torch.randint测试，发现报同样的错误，可知是模型的问题。或者能重启也就解决了。

mmdetection 常见问题及错误记录

01-06

1、GPU下出现/pytorch/aten/src/ATen/native/cuda/IndexKernel.cu:53: lambda [](int)->auto::operator()(int)->auto: block: [9,0,0], thread: [32,0,0] Assertion `index >= -sizes[i] && index < sizes[i] && index out of bounds` failed.问题 GPU上运行神经网络模型，是使用多线程并行加速的，如果出错，真正的错误信息很容易被cuda的错误信息淹没，所以难以看到错误信息，一般引起问题的原因是

YOLOv8实战中国交通标志识别

07-16

在无人驾驶中，交通标志识别是一项重要的任务。YOLOv8是前沿的目标检测技术，它基于先前 YOLO 版本在目标检测任务上的成功，进一步提升性能和灵活性。本课程将手把手地带大家使用YOLOv8训练TT100K中国交通标志数据集，完成一个多目标检测实战项目。可实时检测图像、视频、摄像头和流媒体(http/rtsp)中的交通标志，并提供PySide6开发的可视化演示界面。TT100K（Tsinghua-Tencent 100K）是一个专门用于交通标志检测的大规模数据集。该数据集由清华大学与腾讯公司联合开发。TT100K数据集包含了超过10万张图片。图片中包含了不同类型的交通标志，总计约有200,000个标签。本课程会讲述使用Python程序将TT100K数据集的格式转换成PASCAL VOC格式和YOLO格式的方法，并提供相应代码。本课程分别在Windows和Ubuntu系统上做项目演示。包括：安装软件环境（Nvidia显卡驱动、cuda和cudnn）、安装PyTorch、安装YOLOv8、 TT00K数据集数据格式转换、准备数据集（自动划分训练集和验证集）、修改配置文件、训练数据集（合适的命令参数选择）、测试训练出的网络模型和性能统计、项目可视化演示界面。本课程新增了在阿里云上使用免费GPU算力的项目实战演示流程。GPU免费算力的领取方式和阿里云平台上的项目实战操作流程可见课程视频。

cuda常见报错

qq_41900846的博客

01-03

8212

cuda常见报错

torch1.8.x的bug

qq_17127427的博客

08-19

2924

1、torch1.8.0的bug RuntimeError: radix_sort: failed on 1st step: cudaErrorInvalidDevice: invalid device ordinal 升级1.8.1解决 2、torch1.8.1的bug 问题1解决之后又会出现类似下面的错误 /pytorch/aten/src/ATen/native/cuda/IndexKernel.cu:142: operator(): block: [0,0,0], thread: [13

Forward 中 CUDA error: device-side assert triggered

一厘米专栏

05-26

1329

在CNN的forward中可能的原因是在 out += residual中out和residual的维度不一致。一长串的这个： /opt/conda/conda-bld/pytorch_1607370156314/work/aten/src/ATen/native/cuda/IndexKernel.cu:84: operator(): block: [1698,0,0], thread: [30,0,0] Assertion `index >= -sizes[i] &...

Python 报错解答：RuntimeError: cuDNN error: CUDNN_STATUS_MAPPING_ERROR