CUDA GPU 隔离 CUDA_VISIBLE_DEVICES

在多GPU服务器上,为确保代码仅使用第2和第4块GPU,可设置环境变量CUDA_VISIBLE_DEVICES。通过此变量,可将GPU编号重置为0,1,临时设置方式为export CUDA_VISIBLE_DEVICES=2,4,永久设置涉及系统配置。" 132093382,8753399,JavaScript实现近邻传播算法详解,"['JavaScript', '算法', '开发语言', '数据处理']

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

场景:

有一台服务器,服务器上有多块儿GPU可以供使用,但此时只希望使用第2块和第4块GPU,但是我们希望代码能看到的仍然是有两块GPU,分别编号为0,1,这个时候我们可以使用环境变量CUDA_VISIBLE_DEVICES来解决这个问题。
比如:

CUDA_VISIBLE_DEVICES=1  只有编号为1的GPU对程序是可见的,在代码中gpu[0]指的就是这块儿GPU
CUDA_VISIBLE_DEVICES=0,2,3  只有编号为0,2,3的GPU对程序是可见的,在代码中gpu[0]指的是第0块儿,gpu[1]指的是第2块儿,gpu[2]指的是第3块儿
### CUDA_VISIBLE_DEVICES 的设置方法及用法 #### 一、环境变量的作用 `CUDA_VISIBLE_DEVICES` 是一个用于控制 GPU 可见性的环境变量。它允许开发者指定哪些 GPU 设备可以被特定的应用程序访问[^1]。一旦设置了该变量,应用程序(如深度学习框架 TensorFlow 或 PyTorch)只会看到由 `CUDA_VISIBLE_DEVICES` 定义的设备列表。 --- #### 二、设置方式 ##### 1. **通过命令行临时设置** 可以在启动 Python 脚本之前,在命令行中定义 `CUDA_VISIBLE_DEVICES` 环境变量。这种方式适用于一次性任务或调试场景。 - Linux/MacOS: ```bash CUDA_VISIBLE_DEVICES=0 python your_script.py ``` - Windows: ```cmd set CUDA_VISIBLE_DEVICES=0 & python your_script.py ``` 上述例子表示只让程序使用第 0 块 GPU[^2]。 如果需要指定多个 GPU,则可以通过逗号分隔的方式实现: ```bash CUDA_VISIBLE_DEVICES=0,1,3 python your_script.py ``` 这会使得程序只能看到编号为 0、1 和 3 的 GPU[^3]。 --- ##### 2. **在代码内部设置** 也可以在 Python 代码中动态修改 `os.environ` 来调整 `CUDA_VISIBLE_DEVICES` 的值。需要注意的是,这种方法必须在加载任何深度学习库(如 TensorFlow 或 PyTorch)**之前**完成,因为这些框架会在初始化阶段读取此环境变量并固定其配置。 示例代码如下: ```python import os # 单独指定一块 GPU os.environ['CUDA_VISIBLE_DEVICES'] = '0' # 指定多块 GPU os.environ['CUDA_VISIBLE_DEVICES'] = '0,2' ``` 注意:由于深度学习框架的行为特性,运行时重新设置 `CUDA_VISIBLE_DEVICES` 并不会生效,除非重启进程。 --- ##### 3. **通过 Bash 脚本设置** 对于更复杂的部署需求,可以直接编写 bash 脚本来管理环境变量和程序执行流程。例如: ```bash #!/bin/bash export CUDA_VISIBLE_DEVICES=0 nohup python -u train.py > output.log 2>&1 & ``` 这段脚本不仅限定了 GPU 使用范围,还实现了后台运行日志记录的功能[^4]。 --- #### 三、注意事项 - 如果未显式设置 `CUDA_VISIBLE_DEVICES`,则默认所有可用的 GPU 都会被识别。 - 当前环境中已有的 GPU 编号可能会因 `CUDA_VISIBLE_DEVICES` 的过滤而发生重映射。例如,当设置为 `'1,2'` 时,原编号为 1 和 2 的 GPU 将分别成为新的编号 0 和 1- 修改 `CUDA_VISIBLE_DEVICES` 应始终遵循目标框架的要求,并确保一致性以避免潜在冲突。 --- ### 总结 `CUDA_VISIBLE_DEVICES` 提供了一种灵活的方式来限定 GPU 访问权限,既可通过外部命令快速设定,也能嵌入到代码逻辑之中。然而,为了保证兼容性和稳定性,建议尽早完成相关配置,并充分测试实际效果。 ---
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值