TensorFlow 报错 failed call to cuDevicePrimaryCtxRetain: CUDA_ERROR_INVALID_DEVICE

最新推荐文章于 2025-05-20 16:56:29 发布
最新推荐文章于 2025-05-20 16:56:29 发布
阅读量2w 收藏 7
点赞数 6
CC 4.0 BY-SA版权
分类专栏： Python DL 平台
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jyli2_11/article/details/73331126

今天使用python virtualenv安装TensorFlow gpu版，一直报错

各种配置版本按官网来的https://www.tensorflow.org/

cuda8.0 cudnn5.1

错误如下

2017-06-16 13:53:53.632070: W tensorflow/stream_executor/cuda/cuda_driver.cc:523] A non-primary context 0x3f287f0 exists before initializing the StreamExecutor. We haven't verified StreamExecutor works with that.
2017-06-16 13:53:53.632367: E tensorflow/core/common_runtime/direct_session.cc:138] Internal: failed initializing StreamExecutor for CUDA device ordinal 1: Internal: failed call to cuDevicePrimaryCtxRetain: CUDA_ERROR_INVALID_DEVICE
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/home/zw/jy/lib/python3.5/site-packages/tensorflow/python/client/session.py", line 1292, in __init__
    super(Session, self).__init__(target, graph, config=config)
  File "/home/zw/jy/lib/python3.5/site-packages/tensorflow/python/client/session.py", line 562, in __init__
    self._session = tf_session.TF_NewDeprecatedSession(opts, status)
  File "/usr/lib/python3.5/contextlib.py", line 66, in __exit__
    next(self.gen)
  File "/home/zw/jy/lib/python3.5/site-packages/tensorflow/python/framework/errors_impl.py", line 466, in raise_exception_on_not_ok_status
    pywrap_tensorflow.TF_GetCode(status))
tensorflow.python.framework.errors_impl.InternalError: Failed to create session.


后来参考一下连接解决错误

https://stackoverflow.com/questions/37893755/tensorflow-set-cuda-visible-devices-within-jupyter

https://stackoverflow.com/questions/44375177/tensorflow-unusual-cuda-related-error

http://www.cnblogs.com/darkknightzh/p/6591923.html


原因是在创建session时没有使用我想让它用的gpu

所以需要设置

CUDA_VISIBLE_DEVICES

方法1 在python程序中

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "1"
 
方法2
运行时 
CUDA_VISIBLE_DEVICES=1 python **.py


方法3
直接在环境变量中 export 






                

        

    

    
  



    



                



	

		

			

				
					
RuntimeError: CUDA error: invalid device ordinal CUDA kernel errors might be asynchronously reported

				
			

			

				

					优快云 精品推荐
				

				

					05-25
					
					805
					
				

			

		

		

			
				
但是我的服务器只有一张显卡，所以会出现找不到显卡问题。只需要将设备设置为自己的显卡编号即可，或者没有显卡设置为。深度学习项目，在利用显卡进行训练出现如下问题。出现这个问题的原因是，我的代码。

			
		

	



                

            
              



	

		

			

				
					
pytorch 使用指定的GPU RuntimeError: CUDA error: invalid device ordinal

					
热门推荐

				
			

			

				

					Hello Word!
				

				

					07-31
					
					3万+
					
				

			

		

		

			
				
pytorch使用指定GPU报错：
Traceback (most recent call last):
  File "test_bed/process_deepglint.py", line 102, in <module>
    pred_dataset(outputFile)
  File "test_bed/process_deepglint.py", line 36, in pred_dataset
    pred_loader_deepg, model, criterion, 

			
		

	



              


  
              

                


	

		

			

				
					
Internal: failed call to cuDevicePrimaryCtxRetain: CUDA_ERROR_UNKNOWN: unknown error 解决过程

				
			

			

				

					jasonso97的博客
				

				

					05-26
					
					1768
					
				

			

		

		

			
				
记录一个在服务器上使用tensorflow-gpu报错的debug过程

总结

碰到如下两个错误：

1. Internal: failed initializing StreamExecutor for CUDA device ordinal 1: Internal: failed call to cuDevicePrimaryCtxRetain: CUDA_ERROR_UNKNOWN: unknown error——（不设置os或者是os设置了多张显卡VISIBLE并且包含问题显卡时报该错误）

2.

			
		

	





	

		

			

				
					
2018-12-11 15:06:03.284604: E tensorflow/stream_executor/cuda/cuda_driver.cc:300] failed call to cuI

				
			

			

				

					weixin_40755306的博客
				

				

					12-11
					
					4747
					
				

			

		

		

			
				
sudo reboot

重启电脑即可。

			
		

	



		

			
		



	

		

			

				
					
x86 docker容器中ffmpeg硬件加速出现找不到CUDA-capable 的问题

				
			

			

				

					weixin_43384452的博客
				

				

					05-20
					
					444
					
				

			

		

		

			
				
解决方法： 1. 在容器中 cd /usr/lib64 ls查看一般有ld-linux-x86-64.so.2 libnvcuvid.so.1 libnvcuvid.so.555.58.02 libnvidia-encode.so.1 libnvidia-encode.so.555.58.02。

			
		

	





	

		

			

				
					
linux/tensorflow: failed call to cuDevicePrimaryCtxRetain: CUDA_ERROR_INVALID_DEVICE

				
			

			

				

					weixin_39416577的博客
				

				

					09-08
					
					249
					
				

			

		

		

			
				
使用CUDA训练报错：

解决办法：
运行时使用：
             CUDA_VISIBLE_DEVICES=-1 python train_single.py

参考：
https://www.136.la/tech/show-629533.html



			
		

	





	

		

			

				
					
failed call to cuDevicePrimaryCtxRetain: CUDA_ERROR_OUT_OF_MEMORY: out of memory； total memory repor

				
			

			

				

					zzz123pp的博客
				

				

					04-20
					
					1650
					
				

			

		

		

			
				
tensorflow 遇到这个问题，很有可能原因是：
在多卡的机器上，别人占用了其中几个GPU，而你在跑代码的时候，把别人占用的GPU也读进去了。
在全局设置一下你需要用到的GPU即可。
import os
os.environ["CUDA_VISIBLE_DEVICES"] = '2, 3' #use GPU with ID=2, 3


...

			
		

	





	

		

			

				
					
Tensorflow: failed call to cuInit: CUDA_ERROR_UNKNOWN

				
			

			

				

					Yan
				

				

					10-19
					
					9890
					
				

			

		

		

			
				
重启Ubuntu系统即可。

			
		

	





	

		

			

				
					
failed call to cuInit: CUDA_ERROR_NO_DEVICE解决方法

				
			

			

				

					01-06
				

			

		

		

			
				
在anaconda虚拟环境下运行程序时，报错failed call to cuInit: CUDA_ERROR_NO_DEVICE. 单独测试import tensorflow，可以成功调用GPU。 用ncvv -V，或nvidia-smi，都可以正常看到CUDA安装版本，及GPU使用情况。 问题...

			
		

	





	

		

			

				
					
求助！Tensorflow2.3 GPU报错InternalError: CUDA runtime implicit initialization on GPU:0 failed.

				
			

			

				

					qq_39254473的博客
				

				

					08-19
					
					9577
					
				

			

		

		

			
				
Tensorflow2.3 GPUTensorflowGPU新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入
TensorflowGPU
https://tensorflow.google.cn/install/gpu
新的

			
		

	





	

		

			

				
					
使用deepspeed的zero3的offload参数时报错return tensor.pin_memory()， RuntimeError: CUDA error: invalid argument

				
			

			

				

					大模型天花板
				

				

					02-14
					
					386
					
				

			

		

		

			
				
是硬盘存储空间不够导致的，删掉些东西就好了。

			
		

	





	

		

			

				
					
关于使用服务器gpu的问题，cuda_driver.cc:300] failed call to cuInit: CUDA_ERROR_INVALID_DEVICE: invalid device o

				
			

			

				

					lrt366的博客
				

				

					03-28
					
					3595
					
				

			

		

		

			
				
2019-03-28 16:18:25.717636: E tensorflow/stream_executor/cuda/cuda_driver.cc:300] failed call to cuInit: CUDA_ERROR_INVALID_DEVICE: invalid device ordinal

运行代码时遇到这个报错，苦苦搜索，然而网上的答案我对照过都没有问题，这是服务器GPU状...

			
		

	





	

		

			

				
					
TensorFlow运行报错：tensorflow/stream_executor/cuda/cuda_driver.cc:313] failed call to cuInit: UNKNOWN303

				
			

			

				

					WILDCHAP_的博客
				

				

					09-02
					
					8213
					
				

			

		

		

			
				
当我在虚拟机上安装好Keras+tensorflow+theano环境时，以tensorflow作为keras的后端运行会出现如下问题：

最大的问题是，我安装的是CPU版本，并没有也安装不了支持GPU的CUDA，通过pip3 list命令，我也没看到我安装了GPU版本。

最后解决方法是，更换成theano后端，输入cat .keras/keras.json，查看当前后端。

如果安装了theano，那就用gedit .keras/keras.json编辑文件，修改成theano


...

			
		

	





	

		

			

				
					
错误 ：tensorflow.python.framework.errors_impl.InternalError: Dst tensor is not initialized.解决办法

				
			

			

				

					weixin_39335972的博客
				

				

					11-20
					
					1444
					
				

			

		

		

			
				
GPU使用运行程序出现错误：
ensorflow.python.framework.errors_impl.InternalError: failed initializing StreamExecutor for CUDA device ordinal 0: Internal: failed call to cuDevicePrimaryCtxRetain: CUDA_ERROR_OUT_OF_MEMORY: out of memory; total memory reported: 1155209625

			
		

	





	

		

			

				
					
failed call to cuDevicePrimaryCtxRetain:CUDA_ERROR_INVALID_DEVICE

				
			

			

				

					jiao_mrswang的博客
				

				

					06-21
					
					2858
					
				

			

		

		

			
				
错误如下：



错误原因：利用CPU版本的tensorflow时调用了cuda,可能是因为服务器行装了cuda及cudnn

解决方案：

在脚本的开头添加如下代码：

import os
os.environ["CUDA_VISIBLE_DEVICES"]="-1"
...

			
		

	





	

		

			

				
					
tensorflow.python.framework.errors_impl.InternalError: ...... Dst tensor is not initialized.

				
			

			

				

					weixin_43522665的博客
				

				

					05-13
					
					5646
					
				

			

		

		

			
				
问题：tensorflow.python.framework.errors_impl.InternalError: Failed copying input tensor from /job:localhost/replica:0/task:0/device:CPU:0 to /job:localhost/replica:0/task:0/device:GPU:0 in order to run _EagerConst: Dst tensor is not initialized.

我这个是运行代码的中间

			
		

	





	

		

			

				
					
tensorflow多GPU多进程占用问题

				
			

			

				

					wulala的博客
				

				

					06-24
					
					2007
					
				

			

		

		

			
				
问题描述：
import tensorflow之后， train model时报错；
报错信息：Internal: failed initializing StreamExecutor for CUDA device ordinal 3: Internal: failed call to cuDevicePrimaryCtxRetain: CUDA_ERROR_OUT_OF_MEMORY; tot...

			
		

	





	

		

			

				
					
【CUDA error: invalid device ordinal错误解决】

				
			

			

				

					weixin_44139454的博客
				

				

					06-01
					
					1867
					
				

			

		

		

			
				
由于在训练时使用DataParallel，且torch.save使用如下代码保存。将之改为保存模型的参数（注意：必须使用。train.py（未验证是否可行）

			
		

	





	

		

			

				
					
Local rendezvous is aborting with status: INTERNAL: 'cuLaunchKernel(function, gridX, gridY, gridZ, blockX, blockY, blockZ, 0, reinterpret_cast<CUstream>(stream), params, nullptr)' failed with 'CUDA_ERROR_INVALID_HANDLE'
Traceback (most recent call last):
  File "/home/bioinfo/zsl/gvp-master/gvp-master/src/train_cpd.py", line 55, in <module>
    main()
  File "/home/bioinfo/zsl/gvp-master/gvp-master/src/train_cpd.py", line 27, in main
    optimizer = tf.keras.optimizers.Adam()
  File "/home/bioinfo/zsl/anaconda3/envs/gvp/lib/python3.10/site-packages/keras/src/optimizers/adam.py", line 62, in __init__
    super().__init__(
  File "/home/bioinfo/zsl/anaconda3/envs/gvp/lib/python3.10/site-packages/keras/src/backend/tensorflow/optimizer.py", line 21, in __init__
    super().__init__(*args, **kwargs)
  File "/home/bioinfo/zsl/anaconda3/envs/gvp/lib/python3.10/site-packages/keras/src/optimizers/base_optimizer.py", line 158, in __init__
    iterations = backend.Variable(
  File "/home/bioinfo/zsl/anaconda3/envs/gvp/lib/python3.10/site-packages/keras/src/backend/common/variables.py", line 173, in __init__
    initializer = self._convert_to_tensor(initializer, dtype=dtype)
  File "/home/bioinfo/zsl/anaconda3/envs/gvp/lib/python3.10/site-packages/keras/src/backend/tensorflow/core.py", line 73, in _convert_to_tensor
    return convert_to_tensor(value, dtype=dtype)
  File "/home/bioinfo/zsl/anaconda3/envs/gvp/lib/python3.10/site-packages/keras/src/backend/tensorflow/core.py", line 152, in convert_to_tensor
    return tf.cast(x, dtype)
  File "/home/bioinfo/zsl/anaconda3/envs/gvp/lib/python3.10/site-packages/tensorflow/python/util/traceback_utils.py", line 153, in error_handler
    raise e.with_traceback(filtered_tb) from None
  File "/home/bioinfo/zsl/anaconda3/envs/gvp/lib/python3.10/site-packages/tensorflow/python/framework/ops.py", line 6006, in raise_from_not_ok_status
    raise core._status_to_exception(e) from None  # pylint: disable=protected-access
tensorflow.python.framework.errors_impl.InternalError: {{function_node __wrapped__Cast_device_/job:localhost/replica:0/task:0/device:GPU:0}} 'cuLaunchKernel(function, gridX, gridY, gridZ, blockX, blockY, blockZ, 0, reinterpret_cast<CUstream>(stream), params, nullptr)' failed with 'CUDA_ERROR_INVALID_HANDLE' [Op:Cast] name:

					
最新发布

				
			

			

				

					06-20
				

			

		

		

			
				
<think>我们正在处理一个关于CUDA错误的用户查询。用户遇到了CUDA_ERROR_INVALID_HANDLE错误，特别是在使用TensorFlow和CUDA进行GPU计算时发生的内部错误。我们需要提供解决方案。根据引用[1]，用户提到了一些配置信息，包括CUDA11.1，以及虚拟环境下的设置。同时，引用[1]中还提到了CUDA向后兼容，可以兼容较早版本的其他软件（如cudatoolkit）。这提示我们版本兼容性可能是问题的一个原因。另外，引用[2]和[3]虽然主要讨论的是nodejs和Stable-Baselines3的问题，但其中引用[2]提到了使用特定工具链（如windows-build-tools）和设置环境变量（如设置python解释器和MSVS版本）来解决编译问题。这给我们的启示是：环境配置（包括编译工具链）可能也是导致CUDA错误的一个因素。因此，我们可以从以下几个方面进行排查和解决：1.检查CUDA、cuDNN、TensorFlow版本兼容性。2.检查GPU驱动是否支持当前CUDA版本。3.检查是否有多个CUDA版本冲突。4.检查环境变量设置（如PATH、LD_LIBRARY_PATH等）是否正确指向所需的CUDA版本。5.检查是否有其他进程占用GPU资源（如僵尸进程）。6.尝试重置GPU状态（如使用nvidia-smi重置）。7.更新或重新安装TensorFlow和CUDA工具包。下面我们将详细展开解决方案。</think>### CUDA_ERROR_INVALID_HANDLE 错误解决方案

遇到 `CUDA_ERROR_INVALID_HANDLE` 错误（特别是伴随 `cuLaunchKernel internal error`）通常表示 CUDA 运行时与 TensorFlow 的交互出现问题。以下是系统化的解决方案：

#### 1. **验证版本兼容性**  
TensorFlow 与 CUDA/cuDNN 有严格的版本对应关系：
- 检查 [TensorFlow 官方文档](https://www.tensorflow.org/install/source#gpu) 确认版本匹配
- 示例兼容组合：
  - TensorFlow 2.4-2.7 → CUDA 11.0, cuDNN 8.0
  - TensorFlow 2.8+ → CUDA 11.2, cuDNN 8.1
- **关键操作**：
  ```bash
  conda list | grep -E 'cudatoolkit|cudnn|tensorflow'  # 检查虚拟环境内版本
  nvcc --version  # 验证系统CUDA版本
  ```

#### 2. **解决句柄冲突**  
该错误常因 GPU 资源未释放导致：
- **重启 GPU 驱动**：
  ```bash
  sudo rmmod nvidia_uvm && sudo modprobe nvidia_uvm  # Linux
  ```
- **终止僵尸进程**：
  ```bash
  nvidia-smi  # 查看占用GPU的进程
  kill -9 <PID>  # 终止残留进程
  ```

#### 3. **环境配置检查**
- **PATH 优先级**：
  ```bash
  echo $PATH  # 确保虚拟环境的bin路径优先于系统路径
  ```
- **库链接验证**：
  ```bash
  ldconfig -p | grep cuda  # 检查库文件指向
  ```

#### 4. **虚拟环境重置**  
重新创建隔离环境：
```bash
conda create -n tf_env python=3.8
conda activate tf_env
conda install -c conda-forge cudatoolkit=11.2 cudnn=8.1
pip install tensorflow-gpu==2.8
```

#### 5. **硬件诊断**
- 测试基础 CUDA 功能：
  ```bash
  cd /usr/local/cuda/samples/1_Utilities/deviceQuery
  sudo make && ./deviceQuery  # 验证CUDA基础功能
  ```
- 检查 GPU 温度：
  ```bash
  nvidia-smi -q -d TEMPERATURE
  ```

#### 6. **备选方案**
若仍失败：
- 降级到 TensorFlow 稳定版本
- 使用 Docker 容器：
  ```bash
  docker pull tensorflow/tensorflow:2.8.0-gpu
  ```

> **根本原因**：此错误多由版本冲突或资源未释放导致，参考案例显示 CUDA 11.1 与某些 TensorFlow 版本存在兼容性问题[^1]，同时环境变量配置不当会加剧冲突[^2]。

---

### 相关问题
1. 如何检测 TensorFlow 是否成功使用了 GPU 加速？
2. CUDA 与 cuDNN 版本不兼容会导致哪些具体错误现象？
3. 在 Docker 容器中配置 TensorFlow-GPU 环境有哪些最佳实践？
4. 多 GPU 训练时出现资源竞争错误应如何排查？

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 3

	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值