torch tensor调用detach时出现RuntimeError: CUDA error: an illegal memory access was encountered解决

最新推荐文章于 2024-11-27 15:25:29 发布

原创

最新推荐文章于 2024-11-27 15:25:29 发布 · 467 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch

代码大致如下：

a = torch.tensor(b) #b是bool类型
c = a.float()
d = torch.tensor([0], dtype=torch.float32, device="cuda"

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

蓝羽飞鸟

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

pytorch 训练 RuntimeError Unable to find a valid cuDNN algorithm to run convolution

mtl1994的博客

02-23

1万+

pytorch 训练 RuntimeError: Unable to find a valid cuDNN algorithm to run convolution pytorch 训练 RuntimeError: Unable to find a valid cuDNN algorithm to run convolution # 问题描述： python:3.95 pytorch:1.10.2 python train.py --img 640 --batch 64 --epochs 600 --d

Qwen2-VL出现RuntimeError: CUDA error: too many resources requested for launch CUDA kernel errors的解决方案

热门推荐

weixin_43178406的博客

10-31

13万+

本文主要介绍了Qwen2-VL出现RuntimeError: CUDA error: too many resources requested for launch CUDA kernel errors的解决方案，希望能对使用Qwen2-VL的同学们有所帮助。文章目录 1. 问题描述 2. 解决方案

参与评论您还未登录，请先登录后发表或查看评论

成功解决RuntimeError:Unable to find a valid cuDNN algorithm to run convolution

JingpengSun的博客

06-26

1万+

Unable to find a valid cuDNN algorithm to run convolution

一次惨痛的debug的经历-RuntimeError: CUDA error: an illegal memory access was encountered

u013517182的博客

07-29

1万+

之所以说惨痛是有原因的。这个错误有人严重怀疑是显卡和pytorch二者之一有一个是有问题的，也曾经想一度放弃，最后还是分享我的解决方法是啥，不确定对大家都适用。一开始遇到这个错误，报的是我写的一个模块内的： File "/gpfs/share/home/1601111331/uda_for_convex/convex_mirror_block/convex_mirror_block.py", ...

TensorRT模型量化出错_ Error Code 1: Cuda Runtime (an illegal memory access was encountered)

C/C++、嵌入式开发、深度学习算法、模型部署与推理优化

10-28

6135

在A10显卡上用TensorRT做模型量化时，报如下的错误。 [W] [TRT] Calibration Profile is not defined. Running calibration with Profile 0 [I] calib data processed : 0/4680batch [E] [TRT] 1: [calibrator.cpp::add::779] Error Code 1: Cuda Runtime (an illegal memory access was encou.

1:RuntimeError: CUDA error: an illegal memory access was encounteredCompile with TORCH_USE_CUDA_DSA`

qq_44770238的博客

03-02

6998

【解决bug】RuntimeError: cuda runtime error (77) : an illegal memory access was encountered at XXXXX

人工智能视觉分析算法学习实践和经验分享。

04-08

2262

项目场景：虚拟试穿项目训练：项目场景：数据集准备完成，构建模型开始训练时，模型内部编码数据时，报错： RuntimeError: cuda runtime error (77) : an illegal memory access was encountered at XXXXXX def encode_input(self, label_map, clothes_mask, all_clothes_label): size = label_map.size()

再次遇到RuntimeError: CUDA error: an illegal memory access was encountered

qq_43733107的博客

02-17

4501

RuntimeError: CUDA error: an illegal memory access was encountered

RuntimeError: CUDA error: an illegal memory access was encountered 解决思路

yyywxk的博客

09-09

1万+

RuntimeError: CUDA error: an illegal memory access was encountered GPU负载

RuntimeError: CUDA error: an illegal memory access was encountered

m0_56836274的博客

03-31

1044

我在跑深度学习模型。其中卷积用CUDA写的。数据集是cifar10。在运行了1个epoch后，就报错：RuntimeError: CUDA error: an illegal memory access was encountered。这个错误是在调用loss.backward()方法时出现的。在网上看了很多方法，有说改小batch_size的，有说让input_data和input_label都放在GPU上的，有说升级pytorch版本的,有说换GPU卡的…玄乎！

报错解决：CUDA Runtime error（an illegal memory access was encountered, cudaErrorIllegalAddress = 700）

博学而笃志，切问而近思。

12-05

7948

报错解决：CUDA Runtime Error（cudaErrorIllegalAddress = 700）

解决RuntimeError: CUDA error: an illegal memory access was encountered问题

chenf1995的博客

02-11

1万+

用pytorch在多卡训练transformers的时候出现了以下问题： RuntimeError: CUDA error: an illegal memory access was encountered terminate called after throwing an instance of 'c10::Error' what(): CUDA error: an illegal memory access was encountered Exception raised from create

问题解决：CUDA error: an illegal memory access was encountered

2022

07-19

719

这个问题真的是非常烦人，在自己目前的项目里经常出现，而且报错位置不止一处，非常没有规律。所有关于模块（包括网络架构、数据集的数据和标签、损失函数）转移到CUDA上的语句从。

PyCUDA LogicError: cuModuleLoadDataEx failed: an illegal memory access was encountered,问题解决

范小c~的博客

01-17

3676

tensorRT部署过程中遇到PyCUDA LogicError: cuModuleLoadDataEx failed: an illegal memory access was encountered 的解决方案

【报错】RuntimeError: CUDA error: an illegal memory access was encountered

GODXML的博客

11-27

1015

某些结构虽然权重和输入不在同一个device，但仍然能运行得到一个illegal memory且不会报错！！。为避免这种错误，记得实例化模型的时候就将整个模型与输入放在同一个device上！！我就是在编写测试用例，忘了这回事，才遇到这个奇怪的bug。。。

跑mmdet时遇到RuntimeError: CUDA error: an illegal memory access was encountered

最新发布

02-17

### 解决 mmdet 运行时出现的 CUDA 非法内存访问错误当遇到 `mmdet` 运行时报错 `CUDA illegal memory access` 时，这通常意味着程序尝试访问不属于其分配范围内的 GPU 内存区域。此类问题可能由多种因素引起。 #### 可能原因分析 1. **GPU内核中的越界访问** 如果模型训练过程中存在数组索引超出边界的情况，则可能导致非法内存访问。这种情况下，应仔细检查输入数据尺寸以及网络层参数设置是否合理[^1]。 2. **异步操作未同步完成** 如描述中提到，在多线程环境下执行涉及全局或共享资源的操作而缺乏适当同步机制也会引发此异常。特别是对于现代GPU架构而言，由于延迟较高（超过600甚至上千周期），任何未经妥善处理的数据依赖都容易造成竞争条件从而触发该类报错[^3]。 #### 推荐解决方案针对上述情况可以采取如下措施： - **调试模式启用** 使用 PyTorch 提供的 `torch.cuda.set_per_process_memory_fraction()` 函数来限制单个进程可使用的显存量；或者开启环境变量 `CUDA_LAUNCH_BLOCKING=1` 来强制使所有 CUDA 调用变为阻塞式的，以便更容易定位具体哪一部分代码引发了问题。 - **验证输入合法性** 对传入模型前后的张量形状做严格校验，确保它们符合预期规格。可以通过打印日志的方式监控每一步变换前后 tensor 的 size 和 dtype 属性变化趋势。 - **更新驱动与库版本兼容性调整** 确认当前所用 NVIDIA 显卡驱动及 cuDNN 版本同 PyTorch 安装包相匹配，并考虑升级至最新稳定版以获得更好的性能优化和支持。 ```bash # 更新 Anaconda 下安装的相关依赖项 conda update pytorch torchvision cudatoolkit -c pytorch ``` 另外值得注意的是，如果是在分布式环境中部署项目的话，还需额外关注节点间通信协议配置正确与否，防止因网络传输失败而导致的目标地址不可达等问题发生。