CacheDataset的cache无法加载或加载失败及cuDNN error: CUDNN_STATUS_INTERNAL_ERROR解决办法

文章讲述了在运行3D代码时遇到的cache加载失败和CuDNN_STATUS_INTERNAL_ERROR问题。解决方案包括调整num_workers的值以适应计算资源,以及删除所有__pycache__文件夹以避免环境不匹配导致的问题。经过这些步骤,作者成功解决了问题并建议读者如遇类似问题可尝试相同方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

前言

很多学习同志在跑3D代码的时候先将数据catche,然后再进行训练,可以大大加快网络的训练,本人在跑3D代码就遇到了cache加载失败以及cuDNN error: CUDNN_STATUS_INTERNAL_ERROR,下面我将详细介绍其解决办法。

1.cache无法加载或加载失败

当你使用CacheDataset时,可能出现无法加载,或者加载一会(未完全加载)就出现加载失败的情况,产生此现象的原因是因为你使用的线程太多了,有些默认的num_works的初始值设置比较大(因为你copy的代码对应的机构或单位计算资源丰富,所以他们设置得比较大),因此我修改了以下num_works的值为4:
在这里插入图片描述如果你减小num_works后发现cache数据的进度条比之前加载得更多,说明就是num_works的问题,如果计算资源不够就再减小num_works即可

2.cuDNN error: CUDNN_STATUS_INTERNAL_ERROR

如果数据cache加载完成后出现以上报错,其原因有以下三点

  • 内存不足
  • 嵌入中的无效索引
  • cudatoolkit版本问题
    出现后两种的情况基本上不可能,如果确实有问题请仔细检查。针对我的问题,我数据cache加载完成后还出现了此问题,开始我以为是内存不足,然后我采用free -h -w检查了一下:
    在这里插入图片描述我需要加载的数据存储大小我计算了一下只有64G,完全是足够的,而且此时数据cache加载已经完成了,也说明不是内存不够的原因,最后终于发现问题所在。
    在这里插入图片描述

将整个工程中,所有文件夹下的__pycache__文件夹全部删除(一定要把所有文件夹中的全部删除)。这个文件是在训练的时候会自动生成,你下载别人的代码里面包含的pycache对应的是别人环境对应生成的,如果用你的环境再跑代码就会出问题。删除后再运行会自动生成你代码对应的pycache,删除后就能成功运行了:
在这里插入图片描述
如果觉得有用,点个赞给点支持,谢谢

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xiong_jun_chen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值