RuntimeError: cuda runtime error (11) : invalid argument at /opt/conda/conda-bld/pytorch_15354919743

最新推荐文章于 2024-09-27 16:46:47 发布
原创 最新推荐文章于 2024-09-27 16:46:47 发布 · 2.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #pytorch

该博客总结了基于DCN的工作中遇到的问题，特别是对于使用CUDA9.0的用户，可能由于cuda版本导致的问题。作者建议删除代码中的DCNv2，转而使用作者提供的对应PyTorch版本进行编译。此外，提到升级CUDA到10.0，并且指出使用PyTorch1.4或更高版本是可行的，无需特定版本的wheel包。提供了一个参考链接以帮助解决这类问题。
部署运行你感兴趣的模型镜像

我用中文回答吧。
我是从王利民老师这个https://github.com/MCG-NJU/MOC-Detector工作过来的。
看了网上关于这个问题原因和一些解决方案，我这里总结一下：
因为有很多基于这个DCN的工作，那么类似centernet出现的这个问题就是一致由DCN的cuda代码版本引发的了。
至于cuda9.0很多人也出现这个问题，大概率是用的2080ti的卡吧，不用折腾cuda用9.2也没用，你升级到10.0就行。
所以核心就是你去DCNv2这个github的官网，把你代码里用到的DCNv2删掉，用作者对应的pytorch版本编译就OK了。
所以不用纠结其他人解决方案里的还要用下载whl的torch1.0.0手动安装了，你用1.4或者更高都行，conda或者pip安装也没区别，
至于你代码出现的其他问题，那就不是DCN导致的了。所以还是要给GitHub的DCNv2作者一个赞。

你也可以参考我写的一个。https://github.com/NEUdeep/MOC-Detector-Pytorch1.4

您可能感兴趣的与本文相关的镜像

PyTorch 2.9

PyTorch 2.9

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

康海东
关注
cuda error invalid argument
jacke121的专栏
06-23 5566
用pytorch训练时报的错 在loss.backward时报错 估计应该是loss出现了异常值。
CUDA error:invalid argument
jacke121的专栏
06-23 4883
当使用torch.view()时 出现 RuntimeError: invalid argument 1: input is not contiguous at /pytorch/torch/lib/TH/generic/THTensor.c:231 可以使用 tensor.contiguous() 解决 比如： mask[idx, :].view(bat_size, 1) 变成 mask[idx, :].contiguous().view(bat_size, 1) ...
RuntimeError: cuda runtime error (11) : invalid argument at /opt.../THC/THCGeneral.cpp:663
probie的博客
08-19 1865
I have installed pytorch 0.4.1 by the followint command line conda install pytorch=0.4.1 cuda90 -c pytorch but encounter the following error THCudaCheck FAIL file=/opt/conda/conda-bld/pytorch_1535493744281/work/aten/src/THC/THCGeneral.cpp line=663 error=1
[CUDA debug] RuntimeError: CUDA error: invalid argument
qq_44419614的博客
03-07 2610
这个错误是因为torch的版本不对，改对torch的版本就行。
RuntimeError: cuda runtime error (11) : invalid argument at /pytorch/aten/src/THC/THCGeneral.cpp:405
qq_42647047的博客
05-13 7226
错误 RuntimeError: cuda runtime error (11) : invalid argument at /pytorch/aten/src/THC/THCGeneral.cpp:405 解决 ： 将 torch.backends.cudnn.benchmark = True(该句一般出现在主函数的开头几句) 改为 torch.backends.cudnn.benchmark = False 错误原因 ： 1、多GPU测试 2、PyTorch版本与显卡不兼容 在这里我的报错是由
Pytorch one hot多标签学习报错 RuntimeError: multi-target not supported at /opt/conda/conda-bld/pytorch_1556
Hello Word!
06-18 4645
报错： Traceback (most recent call last): File "/home/user1/main.py", line 544, in <module> main() File "/home/user1/main.py", line 273, in main validate(test_loader_lfwa, model, criterion) File "/home/user1/main.py", line 476, in validate
【算法】CenterNet运行demo时报错：RuntimeError: CUDA error: out of memory
Vincent Lai的博客
10-01 1657
问题描述 python demo.py ctdet --demo /home/vincent/Code/CenterNet-master/images/ --load_model /home/vincent/Code/CenterNet-master/models/ctdet_coco_dla_2x.pth 运行以上面的demo代码时出现下面的错误 Fix size testing. trai...
测试Center的demo时报错：RuntimeError: CUDA error: out of memory
奔跑的小仙女
10-30 789
测试centernet的demo命令： python demo.py ctdet --demo ../images/ --load_model ../models/ctdet_coco_dla_2x.pth 如果你也有这个问题，千万别一遍又一遍的装cuda，网上都说什么版本不匹配，no！ 报错：Fix size testing. training chunk_sizes: [32] The output will be saved to /home/sys507/CenterNet-master/src
我的AI之路(45)--使用自己的数据集训练CenterNet
XCCCCZ的博客
03-14 3800
CenterNet是anchor-free类型网络，具有识别精度高且速度快的特点，根据作者的论文中列出的数据来看，指标综合考虑来看比较牛了： 最后那个CenterNet-HG，也就是backbone使用的Hourglass-104网络的AP值只比FSAF低一点了(但是FSAF目前貌似还没有源码放出来),比YOLO序列和RCNN序列都强很多，虽然FPS自有7.8，但是对一般实...
RuntimeError: cuda runtime error (11) : invalid argument at /pytorch/aten/src/THC/THCGeneral.cpp
weixin_43786395的博客
11-08 1292
RuntimeError: cuda runtime error (11) : invalid argument at /pytorch/aten/src/THC/THCGeneral.cpp
pytorch 报错：RuntimeError: CUDA error: invalid configuration argument
guopiswd的博客
08-06 1209
原因引自花书，在于批量规范化层（batch normalization）需要在完整小批量上执行，而不是像其他层一样可以忽略批量。一个批次只存在一个样本或者不完整的样本个数应该会报错。我昨天遇到了这个报错，背景是用了交叉验证，代码多次精确的在第二个epoch的最后一个batch报错，我猜测是批次问题，就给交叉验证的剩余批次丢弃了，如标红部分。对于这个问题，有几种情况，有的说显卡炸了，关闭一些实验性功能即可；有的说是因为输入了空向量，这个不大应该吧。
RuntimeError:cuda runtime error (11) : invalid argument at /pytorch/aten/src/THC/generic
weixin_45941832的博客
07-12 1655
RuntimeError:cuda runtime error (11) : invalid argument at /pytorch/aten/src/THC/generic/THCTensorMathPointwise.cu:324 在别人的pytorch代码中，加入自己的模块，出现的cuda运行时间错误。查看了许多博主的解释。弄了好久都没成功。 这个错误主要是加入的模块中的函数没有办法在gpu下执行，将传入的数据转成cpu模式，在执行后再调用时再转成cuda模式运行 ...
RuntimeError: cuda runtime error (11) : invalid argument at /opt/conda/conda
qq_40723205的博客
08-29 4662
cuda pytorch版本不对 原先版本cuda9 pytorch 0.4.0 更换为 cuda9 最新版pytorch
RuntimeError: cuda runtime error (11) : invalid argument at /pytorch/aten/src/THC/THCGeneral.cpp:383
qq_32425195的博客
11-25 4920
运行pytorch的程序时遇到下面的问题： RuntimeError: cuda runtime error (11) : invalid argument at /pytorch/aten/src/THC/THCGeneral.cpp:383 检查发现设置了 torch.backends.cudnn.benchmark = True 关于这个设置的作用(加速卷积运算，从而加速训练)...
RuntimeError: CUDA error: invalid configuration argument可能的原因
qq_61228299的博客
07-22 2425
很可能只是你显存炸了。
RuntimeError: CUDA error: invalid configuration argument CUDA kernel errors might be asynchronously
qq_46396470的博客
09-27 1827
我在训练Rank-DETR时只开了一张Nvidia-A800显卡，batchsize=2；网上查了不少方法都未曾奏效，后来我突然发现爆显存也会触发如上错误，故我讲batchsize修改为1后解决了问题。尝试减小batchsize。
运行yolo时，莫名出现cuda error的解决办法
热门推荐
一新新的小白的博客
09-12 2万+
最近在加载yolo模型时，总是无缘无故出现cuda error的错误，初步判断为环境问题，所以讲yolo编译中需要注意的问题总结如下： 一、Darknet编译使用GPU要求显卡是Nvidia卡并且正确安装了CUDA。 GPU环境下的编译配置都是在 /darknet/Makefile 文件中定义的，GPU环境的编译有3点更改需要注意。 1. 更改Makefile前两行GPU和CUDNN的配置：...
[rank0]: RuntimeError: !block->expandable_segment_ INTERNAL ASSERT FAILED at "/opt/conda/conda-bld/pytorch_1720538437738/work/c10/cuda/CUDACachingAllocator.cpp":2586, please report a bug to PyTorch.
最新发布
04-23
<think>嗯，用户遇到了PyTorch的CUDA内存不足错误，也就是OutOfMemoryError，还有RuntimeError，特别是提到了CUDACachingAllocator.cpp的断言失败。我需要帮他找到解决方案。首先，我得回忆一下常见的CUDA内存问题处理办法。 根据用户提供的引用[^1]和[^2]，他们可能已经尝试过一些基本方法，比如检查硬件配置，但显存仍然不足，尽管理论上足够。这时候，可能需要更深入的优化方法。首先，我应该考虑显存管理的几个方面：模型优化、数据加载、训练配置以及PyTorch的设置。 用户提到了expandable_segments这个环境变量，引用中也建议设置PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True。这可能是因为PyTorch的内存分配器存在碎片化问题，导致即使总显存足够，但无法分配连续的大块内存。所以设置这个选项可能有助于减少碎片。需要详细说明如何配置这个环境变量，比如在代码中通过os.environ设置或者在命令行中导出。 然后，常见的显存节省技术包括混合精度训练，使用torch.cuda.amp。这可以减少显存占用，同时可能加快训练速度。另外，梯度累积也是一种方法，通过多次前向传播后再反向传播，减少每次的显存消耗。 检查数据加载部分，比如DataLoader的num_workers和pin_memory设置是否正确。过多的num_workers可能占用CPU内存，进而影响显存。不过这点可能需要具体情况具体分析。 模型方面，可以尝试减少批次大小，或者使用梯度检查点（checkpointing），这样在反向传播时重新计算部分中间结果，节省显存。此外，确保没有不必要的张量保留在内存中，比如在训练循环中使用del释放不再需要的变量，并适时调用torch.cuda.empty_cache()。 多卡训练的情况下，如果用户有两张显卡，可以考虑模型并行或数据并行。但数据并行需要每个卡都有足够的显存放下模型，而模型并行则拆分模型到不同卡上。不过用户的问题可能是单卡显存不足，所以可能需要使用更高级的并行策略，或者优化现有代码。 另外，检查是否有内存泄漏，比如在循环中不断创建张量而未释放。使用torch.cuda.memory_summary()来监控显存使用情况，找到内存增长的地方。 用户提到的RuntimeError和CUDACachingAllocator的断言失败，可能是由于内存分配失败后触发的。这时候除了调整内存分配策略外，还需要确保代码中没有错误的内存操作，比如访问已经释放的内存。 最后，确保PyTorch和CUDA版本兼容，有时候升级或降级版本可以解决一些底层的问题。同时，查看官方文档和社区讨论，是否有类似问题的解决方案。 总结下来，解决方案应该分步骤，从简单的配置调整到更复杂的模型和训练优化，逐步排除问题。同时，要给出具体的代码示例，比如如何设置环境变量，如何启用混合精度训练，如何实现梯度累积等，让用户能够直接应用这些方法。</think>### PyTorch CUDA显存分配问题解决方案 --- #### 一、问题诊断与核心原因 1. **显存碎片化**：PyTorch的CUDA内存分配器在长期运行中可能产生内存碎片，导致总可用显存足够但无法分配连续内存块[^1] 2. **配置参数不当**：默认内存分配策略可能不适合多卡/大模型场景 3. **资源争用**：非PyTorch进程（如桌面环境）可能占用显存 --- #### 二、解决方案步骤 ##### 1. 启用扩展内存段（关键配置） ```python import os os.environ["PYTORCH_CUDA_ALLOC_CONF"] = "expandable_segments:True" ``` * 作用：允许内存段动态扩展，缓解碎片化问题[^1] * 验证方法：观察报错信息中"reserved by PyTorch but unallocated"数值变化 ##### 2. 优化训练配置 ```python # 混合精度训练（节省30%-50%显存） from torch.cuda.amp import autocast, GradScaler scaler = GradScaler() with autocast(): outputs = model(inputs) loss = criterion(outputs, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() # 梯度累积（每4步更新一次） accumulation_steps = 4 loss.backward() if (i+1) % accumulation_steps == 0: optimizer.step() optimizer.zero_grad() ``` ##### 3. 内存管理增强 ```python # 手动释放缓存 torch.cuda.empty_cache() # 检查内存使用 print(torch.cuda.memory_summary()) # 限制最大保留内存 torch.cuda.set_per_process_memory_fraction(0.8) ``` ##### 4. 多卡优化配置 ```python # 数据并行优化 model = nn.DataParallel(model, device_ids=[0,1]) # 显存平衡策略 os.environ["NCCL_P2P_DISABLE"] = "1" os.environ["NCCL_SHM_DISABLE"] = "1" ``` --- #### 三、高级优化方案 1. **梯度检查点技术** ```python from torch.utils.checkpoint import checkpoint def forward_fn(x): return model(x) output = checkpoint(forward_fn, inputs) ``` 2. **张量内存共享** ```python # 复用已有张量内存 new_tensor = torch.zeros_like(old_tensor) new_tensor.data.copy_(old_tensor) ``` 3. **批次动态调整** ```python try: outputs = model(inputs) except RuntimeError as e: if 'CUDA out of memory' in str(e): reduce_batch_size() continue ``` --- #### 四、错误处理流程 ```mermaid graph TD A[出现OOM错误] --> B{检查PYTORCH_CUDA_ALLOC_CONF} B -->|未设置| C[设置expandable_segments:True] B -->|已设置| D[启用混合精度训练] D --> E[尝试梯度累积] E --> F[检查内存泄漏] F --> G[使用memory_profiler监控] G --> H{问题解决?} H -->|是| I[完成优化] H -->|否| J[启用梯度检查点] ``` ---
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值