Pytorch RuntimeError: CUDNN_STATUS_INTERNAL_ERROR的解决办法

在CentOS环境下,使用多个GPU节点和cuda9.0时,运行pytorch和tensorflow出现CUDNN_STATUS_INTERNAL_ERROR错误。本文介绍了解决此问题的有效方法,包括删除nvidia缓存和指定CUDA_CACHE_PATH路径。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

先说一下我碰到这个问题的平台环境:操作系统是CentOS,多个GPU节点,cuda 9.0。运行pytorch和tensorflow都会提示CUDNN_STATUS_INTERNAL_ERROR错误。

对于此问题,解决办法有:

1、删除掉nvidia缓存,或者还需要重启。

rm -rf ~/.nv

但这个方法不适合我的运行环境,还是会继续提示同样的问题

2、运行pytorch或tensorflow的时候,指定CUDA_CACHE_PATH路径。关于这个路径,有的说是用绝对路径,有的说只需用相对路径。

CUDA_VISIBLE_DEVICES=0 CUDA_CACHE_PATH='~/.cudacache' python main.py

为了这个问题,耗费了我好几天的时间,终于用相对路径解决了此问题。

大家用第2种方法时,如果采用绝对路径会报错,就用相对路径试试。希望能帮到大家!

 

 

评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值