Pytorch-lightning使用过程遇到的bug：CUDNN_STATUS_INTERNAL_ERROR

原创

已于 2023-07-13 18:43:18 修改 · 497 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#bug #python #pytorch

于 2023-03-02 20:01:24 首次发布

文章讲述了遇到cuDNN错误CUDNN_STATUS_INTERNAL_ERROR时，尝试减小batch_size的解决方案，以及当出现CUDA内存不足的问题，可能是由于DataLoader的workers设置过多导致，建议减少workers数量以避免内存冲突。

Bug来源：
在这里插入图片描述
报错如下：

cuDNN error: CUDNN_STATUS_INTERNAL_ERROR

解决方案：
（1）改小batch_size的值（4或更小），但该方法不太管用
（2）如果经过（1）后又出现如下的报错：

RuntimeError: CUDA out of memory. Tried to allocate 3.03 GiB (GPU 0; 8.00 GiB total capacity; 409.61 MiB already allocated; 5.88 GiB free; 654.00 MiB reserved in total by PyTorch

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

呜啦啦呜呼z

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

解决Pytorch的cuDNN error: CUDNN_STATUS_NOT_INITIALIZED

Jurio的博客

04-28

5600

解决Pytorch的cuDNN error: CUDNN_STATUS_NOT_INITIALIZED，总结四种可能原因及解决方法和链接

yolov5训练集出现报错：RuntimeError: cuDNN error: CUDNN_STATUS_INTERNAL_ERRORYou can try to repro this excep

qq_53545309的博客

04-12

1367

yolovs中train.py报错

参与评论您还未登录，请先登录后发表或查看评论

Bug | CUDA | cuDNN error: CUDNN_STATUS_INTERNAL_ERROR

Junseer的博客

08-26

447

如果我指定了 “CUDA:5” 进行调试，程序就会出现如下的报错；但如果我用 “CUDA:0” 运行程序，就能够正常运行，不发生程序报错。本质是 CUDA_VISIBLE_DEVICES 无效设置导致的。

CUDNN_STATUS_INTERNAL_ERROR

oinglan的博客

02-13

1383

CUDNN_STATUS_INTERNAL_ERROR的解决办法产生原因 Tensorflow CUDNN的内存分配错误从而引发的解决办法执行下行代码 export TF_FORCE_GPU_ALLOW_GROWTH=true allow_growth 不进行设定的话，GPU的memory将全部使用因此会导致显存分配错的的情况时有发生。通过启动allow_growth = true确...

Deep-Live-Cam项目中的CUDNN_STATUS_INTERNAL_ERROR错误分析与解决方案

最新发布

gitblog_00898的博客

09-10

297

在使用Deep-Live-Cam项目进行实时人脸分析时，部分用户可能会遇到"CUDNN failure 4: CUDNN_STATUS_INTERNAL_ERROR"的错误提示。这个错误通常发生在项目尝试使用CUDA加速的深度学习模型进行人脸检测时，特别是在调用NVIDIA的cuDNN库进行卷积运算的过程中。 ## 错误现象分析从错误日志中可以观察到几个关键信息点： 1. 错误类型为CUD...

cuDNN error: CUDNN_STATUS_INTERNAL_ERROR

tanfuz的博客

03-03

7268

参考链接 RuntimeError: cuDNN error: CUDNN_STATUS_INTERNAL_ERROR众所周知，该错误很难调试，但是令人惊讶的是，常常是内存不足的问题。通常，您会遇到内存不足错误，但是根据发生的位置，PyTorch无法拦截错误，因此无法提供有意义的错误消息。由于电脑配置有点差，在跑网络的时候打开了两个vivado工程和两个C++工程，导致电脑内存被占用，因此无法正常启动cuda，将上述工程关掉之后cuda启动正常 ...

Pytorch PyTorch模型训练：运行时错误：cuDNN错误：CUDNN_STATUS_INTERNAL_ERROR

yyywxk的博客

06-29

2210

首先，检查GPU显存是否足够。如果显存不足，可以尝试减小批量大小、优化模型结构以减少参数数量，或者使用多个GPU进行模型训练。其次，需要确保使用的PyTorch版本与cuDNN库版本兼容。如果版本不兼容，可以尝试更新PyTorch或cuDNN库来解决该问题。最后，应该检查GPU驱动程序是否稳定和兼容。确保使用的GPU驱动程序是最新版本，并与其他相关软件兼容。如果问题仍然存在，可以尝试降低GPU的工作频率。

AutoDL 跑深度学习报错：RuntimeError: cuDNN error: CUDNN_STATUS_INTERNAL_ERROR

m0_58035123的博客

04-07

1149

但想来想去，Auto DL平台CUDA与cuDNN是配置好的啊，不会出现CUDA和cuDNN版本与PyTorch不兼容的问题。也有伙伴说是由于显存不足，需要调整Batchsize，于是把Batchsize从32依次调整到16、8、4，仍然不管用，且运行。在多GPU环境下，有时候默认情况下程序可能会选择不合适的GPU，导致出现一些问题，比如显存溢出或者资源冲突等。环境变量，可以显式地告诉程序在哪块GPU上运行，从而避免这些问题。发现显存是没问题的，后来在运行之前加入了下面这行代码。# 创建输入数据和网络。

RuntimeError: cuDNN error: CUDNN_STATUS_NOT_SUPPORTED.

07-16

1515

这个错误信息 “RuntimeError: cuDNN error: CUDNN_STATUS_NOT_SUPPORTED. This error may appear if you passed in a non-contiguous input” 表示在执行深度学习模型时，cuDNN（一个用于深度神经网络的加速库）遇到了一个不支持的操作

关于出现cuDNN error: CUDNN_STATUS_INTERNAL_ERROR

qq_38598635的博客

06-12

7312

笔者在调试代码时出现cuDNN error,参考网上的资料发现原因主要有两种 1.显存不足导致，可以适当调整显存大小，我的电脑-属性-高级系统设置-高级-性能-设置-高级-

python keras CUDNN_STATUS_INTERNAL_ERROR

A_pinkpig的博客

04-01

500

Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR 运行keras加载模型进行预测时，报错细节如下： 2020-04-01 16:06:28.485938: E tensorflow/stream_executor/cuda/cuda_dnn.cc:353] Could not create cudnn handle: CUDNN...

【pytorch】cuDNN error: CUDNN_STATUS_INTERNAL_ERROR终终终终于解决了！

热门推荐

-徐徐图之-的博客

04-10

5万+

记录一个困扰我几天的坑 ☹，无意中发现了解决的办法，但原因我尚未了解，先作此记录。事情是这样的：前两天运行的好好的代码，修改了一点模块后第二次跑的时候始终出现如下错误： ==> training epoch 0/50 train: 0% 0/7151 [00:02<?, ?it/s] Traceback (most recent call last): File "train.py", line 266, in <module> main() File "t

caffe之MobileNet-SSD问题：CUDNN_STATUS_INTERNAL_ERROR

random_repick的专栏

03-01

327

0.前言从ssd作者的github上clone的代码跑MobileNet-SSD会出现错误：Check failed: status == CUDNN_STATUS_SUCCESS (4 vs. 0) CUDNN_STATUS_INTERNAL_ERROR 1.原因 dw卷积gpu模式有bug，不使用cudnn就可以运行，但速度感人 2.解决方法我用这里的文件替换了对应文件，然后编译就能用了。整个工程我放到了码云上，使用方法如下： git clone https://gitee.com/aw

pytorch跑3DResNets视频分类模型遇到cuDNN error: CUDNN_STATUS_INTERNAL_ERROR

qq_38469784的博客

10-07

536

参考文章解决RuntimeError: cuDNN error: CUDNN_STATUS_EXECUTION_FAILED pytorch torch.backends.cudnn设置作用加以下代码 torch.backends.cudnn.enabled = False

RuntimeError: cuDNN error: CUDNN_STATUS_INTERNAL_ERROR

flashlau的专栏

10-12

2万+

这个问题解决了一天。。。。好好的训练代码，换了一台机器，就报错了。以为是cuda11造成的，担心cuda版本和pytorch版本不匹配，一顿重装，结果没解决。问题现象： raceback (most recent call last): File "train.py", line 100, in <module> main(opt) File "train.py", line 71, in main …… File "/home/xxxx/.local/l...

CUDNN_STATUS_INTERNAL_ERROR/ResourceExhaustedErro

u014727716的博客

08-06

797

运行pycharm时，遇到如下错误： tensorflow/stream_executor/cuda/cuda_dnn.cc:503] could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR 2018-08-06 12:38:55.926801: F tensorflow/core/kernels/conv_ops.cc:713] ...