设置CUDA_VISIBLE_DEVICES的方法

最新推荐文章于 2025-11-01 11:18:28 发布
原创 最新推荐文章于 2025-11-01 11:18:28 发布 · 7.2w 阅读 · 53 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

本文详细介绍了如何通过bash脚本和Python代码设置CUDA_VISIBLE_DEVICES环境变量，以控制GPU设备的可见性，适用于深度学习框架如PyTorch和TensorFlow的多GPU配置场景。
部署运行你感兴趣的模型镜像

设置CUDA_VISIBLE_DEVICES的方法

1. 通过bash脚本设置CUDA_VISIBLE_DEVICES

export CUDA_VISIBLE_DEVICES=0,1,2,3
# 注意bash脚本中不要随意使用空格，特别是符号之后不要加空格
source ~/anaconda3/bin/activate torch
# 使用source命令读取并且执行activate，激活anaconda虚拟环境
python -c 'import torch; print(torch.__version__); print(torch.cuda.device_count())'
# 用python command模式显示pytorch版本

2. 通过os.environ来设置CUDA_VISIBLE_DEVICES

import torch
import os
os.environ['CUDA_VISIBLE_DEVICES']='0,1,2'
print(torch.cuda.device_count())

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

使用CUDA_VISIBLE_DEVICES设置显卡
qq_43307074的博客
11-03 3万+
使用CUDA_VISIBLE_DEVICES设置显卡
【PyTorch深度学习项目实战200例】—— pytorch设置分布式多卡训练 第4例
timixy的博客
03-31 487
这个类会自动将模型和数据分发到所有可用的 GPU 上，并在每个 GPU 上运行一个副本。接下来，你需要初始化分布式后端。首先，你需要设置每个 GPU 的环境变量，以便 PyTorch 可以识别并使用它们。如果你想使用 PyTorch 进行多卡训练，可以使用 PyTorch 的分布式训练模块。接下来，你需要将模型和数据划分到不同的进程和 GPU 上。这个代码会在多个 GPU 上并行地运行，并自动分布数据和模型。最后，你需要使用分布式优化器来更新模型参数。这将设置使用 GPU 0、1、2 和 3 进行训练。
KeyError: ‘CUDA_VISIBLE_DEVICES‘ / Please set CUDA_VISIBLE_DEVICES 问题及解决方法
最新发布
weixin_62223410的博客
11-01 198
运行python文件时，遇到或者。
使用多卡GPU训练时遇到的错误
Z20040913sheng的博客
08-05 1706
使用多卡GPU训练时遇到的错误
Pytorch指定GPU的方法总结
Dawn的博客
07-21 3543
Pytorch指定GPU的方法 改变系统变量 改变系统环境变量仅使目标显卡,编辑 .bashrc文件，添加系统变量 export CUDA_VISIBLE_DEVICES=0 #这里是要使用的GPU编号 在程序开头设置 os.environ["CUDA_VISIBLE_DEVICES"] = '0,1,2,3' 在运行程序时指定 # 运行程序时使用命令行,来设置该程序可见的gpu: CUDA_VISIBLE_DEVICES=0,1,2,3 python xxx.py 使用torch.c
CUDA_VISIBLE_DEVICES
二分掌柜的
01-09 6914
flyfish
PyTorch多卡训练避坑指南：从CUDA_VISIBLE_DEVICES到NCCL调优
datacanvas2426的博客
06-05 1027
类别错误做法正确方案设备分配硬编码cuda:0通信后端默认使用gloo多卡必选批大小设置所有卡相同batch_size按显存动态调整数据读取单worker加载数据混合精度全模型强制float16AMP自动管控+梯度缩放。
os.environ[‘CUDA_VISIBLE_DEVICES‘]无效的解决方法
asd123pwj的博客
08-20 5412
无图/无目录/格式错误/更多相关请至首发页查看。新的更新内容请到查看。
使用指定GPU训练模型：os.environ[‘CUDA_VISIBLE_DEVICES‘]设置无效问题解决——随笔
qq_40481602的博客
11-07 1万+
使用指定GPU训练模型之os.environ[‘CUDA_VISIBLE_DEVICES‘]设置无效问题解决
取消设置 CUDA_VISIBLE_DEVICES
10-13
取消设置CUDA_VISIBLE_DEVICES就是恢复计算机上所有可用的CUDA设备对Python或其他支持CUDA的应用程序的访问。当你需要让所有的GPU资源都能被程序使用，而不是限制在特定的GPU上运行计算密集型任务时，就需要取消这个...
Pytorch基础：环境变量CUDA_VISIBLE_DEVICES
前进，才知道自己的渺小
05-13 4724
CUDA_VISIBLE_DEVICES这个环境变量可以影响CUDA能识别到的GPU，并影响它映射到的cuda设备编号。
pytorch之多GPU使用——#CUDA_VISIBLE_DEVICES使用 #torch.nn.DataParallel() #报错解决
qq_38156104的博客
11-24 5877
主要讲单机多卡（单主机多GPUs训练） 使用多卡训练的方式有很多，当然前提是我们的设备中存在多个GPU：使用命令nvidia-smi查看当前Ubuntu平台的GPU数量，其中每个GPU被编上了序号：[0,1,2,3] 0. 显卡编号（什么是主卡） 在默认情况下，标号为0的显卡为主卡，如主机中有4块显卡，那么每张显卡的默认标号为[0,1,2,3]。 如何将其他显卡设置为主卡呢？ 通过os.environ["CUDA_VISIBLE_DEVICES"]指定所要使用的显卡，如： os.environ
CUDA 指定设备的方法，CUDA_VISIBLE_DEVICES 设置当前pytorch程序使用那些GPU设备
热门推荐
白袍小将的博客
12-12 7万+
​ 当服务器有多个GPU卡时，通过设置CUDA_VISIBLE_DEVICES环境变量可以改变CUDA程序所能使用的GPU设备，默认情况下：标号为0的显卡为主卡。
【深度学习高效小trick】使用指定的GPU(组)搞深度学习：CUDA_VISIBLE_DEVICES || os.environ[‘CUDA_VISIBLE_DEVICES‘]=‘1‘
Thebest_jack的博客
07-07 1万+
使用指定的GPU组：CUDA_VISIBLE_DEVICES//os.environ['CUDA_VISIBLE_DEVICES']='1'---高效使用服务器的GPU！
『Pytorch笔记』Pycharm中使用CUDA_VISIBLE_DEVICES=0！
AI新视界
11-06 1万+
Pycharm中使用CUDA_VISIBLE_DEVICES=0！ 如果使用多GPU运行程序(或者指定GPU的个数)，可以直接使用CUDA_VISIBLE_DEVICES=0,1,2,3python xxx.py来设置该程序可见的GPU。 当然也可以在程序开头设置os.environ["CUDA_VISIBLE_DEVICES"] = '0,1,2,3'来使用。 如果在Pycharm中调试时，使用多GPU的话，除了直接在程序中设置os.environ["CUDA_VISIBLE_DEVICES"]..
Useros.environ[“CUDA_VISIBLE_DEVICES“] = “1“
llf000000的博客
04-04 1592
您可以控制哪些GPU将被CUDA应用程序看到，进而被利用。这通常用在基于CUDA的应用程序中，尤其是在使用NVIDIA GPU进行深度学习开发时。这个设置通常在程序的最开始处进行，以确保在程序运行期间CUDA能够识别并使用正确的GPU设备。），则CUDA应用程序将不会看到任何GPU，因此只能使用CPU进行计算。例如，如果您有两个GPU，它们会被编号为0和1。，这表明CUDA应用程序可以看到并使用编号为0和1的两个GPU。告诉CUDA运行时库应当使用哪些GPU设备。，即使系统中有多个GPU。
os.environ[‘CUDA_VISIBLE_DEVICES‘] = 的用法
2402_83979924的博客
12-13 1700
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档。
CUDA_VISIBLE_DEVICES=0 : 无法将“CUDA_VISIBLE_DEVICES=0”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。请检查名称的拼写，如果包括路径，请确保
qq_38148600的博客
08-03 1309
这是因为CUDA_VISIBLE_DEVICES=0 USE_MODELSCOPE_HUB=1 python src/webui.py只能在linux上跑。
怎么设置CUDA_VISIBLE_DEVICES
06-28
<think>我们被要求设置CUDA_VISIBLE_DEVICES环境变量以控制PyTorch可见的GPU设备。根据引用内容，我们可以通过设置环境变量来实现。以下是几种设置方法：方法1：在Python代码中设置（需在导入PyTorch之前） 引用[1]指出，必须在设置torch.backends.cudnn.benchmark之前设置CUDA_VISIBLE_DEVICES，否则更改将不起作用。因此，我们应在程序的最开始设置。 方法2：在命令行中设置（推荐） 引用[4]提到，在命令行运行时可以通过前置环境变量设置，如：`CUDA_VISIBLE_DEVICES=1,2python myscript.py` 方法3：在代码中设置（使用os.environ）在代码中设置环境变量，同样需要在导入PyTorch之前完成。 注意：引用[4]解释了环境变量的含义：设置的值是可见的GPU设备列表，这些值并不是GPU的物理ID，而是重新映射后的索引。例如，设置`CUDA_VISIBLE_DEVICES='1,2'`，那么在程序中可见的GPU设备将被重新编号为cuda:0（对应物理ID1）和cuda:1（对应物理ID2）。另外，引用[3]提到还可以设置`CUDA_DEVICES_ORDER`，这可以改变设备枚举的顺序（如按PCI总线顺序），但通常不需要设置。因此，我们提供以下两种常用方法：###方法一：在命令行中设置（推荐） 在运行Python脚本前，通过环境变量指定可见的GPU设备：```bashCUDA_VISIBLE_DEVICES=0,1 pythonyour_script.py```这样，在脚本中，PyTorch将只能看到设备0和设备1（物理设备），并且在程序中它们被索引为cuda:0和cuda:1。 ###方法二：在Python脚本中设置在Python脚本的最开始（在任何导入PyTorch的代码之前）设置环境变量：```pythonimportosos.environ["CUDA_VISIBLE_DEVICES"] ="0,1"#设置可见的GPU设备为0和1#然后导入PyTorchimport torch```###验证设置在设置后，可以通过以下代码验证可见的设备：```pythonimporttorchprint(f"可见GPU数量:{torch.cuda.device_count()}")print(f"当前设备:{torch.cuda.current_device()}") print(f"设备名称: {torch.cuda.get_device_name()}") ```###注意事项1.如果设置的环境变量包含不存在的设备ID，程序将无法看到任何GPU，因此请确保设备ID存在。 2.在代码中设置环境变量必须在导入PyTorch之前，否则可能不生效（引用[1]）。 3.在多进程环境中（如使用torch.distributed），每个进程通常会通过`LOCAL_RANK`环境变量来指定其使用的设备，此时结合`CUDA_VISIBLE_DEVICES`可以灵活分配设备。###示例：在分布式训练中设置在分布式训练中，我们通常为每个进程分配一个GPU。假设我们有两块GPU，我们可以设置`CUDA_VISIBLE_DEVICES=0,1`，然后每个进程通过`LOCAL_RANK`（0或1）来选择设备。 ```pythonimport osimporttorch#设置可见设备（在分布式环境中，主脚本可能已经由命令行设置了，所以这里可以不用设置）#但如果在代码中设置，同样要放在最前面#获取当前进程的本地排名（通常由启动器设置）local_rank =int(os.environ['LOCAL_RANK'])#设置当前进程使用的设备torch.cuda.set_device(local_rank)device =torch.device("cuda", local_rank)``` ###相关问题1.如何检查PyTorch可用的GPU设备？2.在Docker容器中如何设置CUDA_VISIBLE_DEVICES？3.如何避免在代码中硬编码GPU设备？4.分布式训练中如何正确分配GPU设备？5.环境变量CUDA_VISIBLE_DEVICES与tor.cuda.set_device()有何区别？[^1]:环境变量设置需在程序顶部[^4]:环境变量设置的具体含义和命令行用法</think>### 设置 CUDA_VISIBLE_DEVICES 环境变量的方法 在 PyTorch 中设置 `CUDA_VISIBLE_DEVICES` 环境变量有两种主要方式，推荐使用第一种方法： #### 方法1：命令行设置（推荐） 在运行 Python 脚本前直接设置环境变量： ```bash # Linux/macOS CUDA_VISIBLE_DEVICES=0,1 python your_script.py # Windows set CUDA_VISIBLE_DEVICES=0,1 && python your_script.py ``` 这将使脚本只能看到 GPU 0 和 GPU 1[^4]。 #### 方法2：Python 代码中设置 在导入 PyTorch 前设置环境变量（必须放在代码最开头）： ```python import os os.environ["CUDA_VISIBLE_DEVICES"] = "0,1" # 选择 GPU 0 和 1 # 必须在设置后导入 PyTorch import torch ``` **注意**：必须在导入 PyTorch 前设置，否则无效[^1]。 --- ### 使用示例 ```python import os os.environ["CUDA_VISIBLE_DEVICES"] = "1" # 仅使用 GPU 1 import torch # 验证设置 print(f"可见 GPU 数量: {torch.cuda.device_count()}") # 输出: 1 print(f"当前设备: {torch.cuda.current_device()}") # 输出: 0 (重新映射后的索引) ``` --- ### 关键注意事项 1. **索引重映射**： - 设置 `"0,1"` 后，物理 GPU 0 在代码中变为 `cuda:0`，物理 GPU 1 变为 `cuda:1`[^4] - 设置 `"1"` 后，物理 GPU 1 在代码中变为 `cuda:0` 2. **优先级规则**： - 命令行设置 > Python 代码设置 - 后设置的值会覆盖先设置的值 3. **特殊值**： ```python os.environ["CUDA_VISIBLE_DEVICES"] = "" # 禁用所有 GPU os.environ["CUDA_VISIBLE_DEVICES"] = "0,2" # 仅使用 GPU 0 和 2 ``` 4. **设备排序控制**： ```python # 按 PCI 总线顺序枚举设备（可选） os.environ["CUDA_DEVICES_ORDER"] = "PCI_BUS_ID" os.environ["CUDA_VISIBLE_DEVICES"] = "0,1" ``` 这能确保设备顺序稳定[^3]。 --- ### 验证设置效果 ```python import torch # 检查实际可见设备 print(f"可见 GPU 数量: {torch.cuda.device_count()}") for i in range(torch.cuda.device_count()): print(f"GPU {i}: {torch.cuda.get_device_name(i)}") # 尝试使用不可见设备会报错 try: torch.tensor([1]).to("cuda:2") # 如果只设置了2个GPU，索引2将无效 except RuntimeError as e: print(f"错误: {e}") ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值