CUDA_VISIBLE_DEVICES和device_ids的区别

最新推荐文章于 2025-06-05 18:14:32 发布
最新推荐文章于 2025-06-05 18:14:32 发布
阅读量674 收藏
点赞数
文章标签： python 深度学习 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_45405831/article/details/128869944
版权
CUDA_VISIBLE_DEVICES可以视为一个值列表，设备IDs是对应的键列表。设备IDs需按升序排列，且其数量不超过环境变量CUDA_VISIBLE_DEVICES指定的显卡数。例如，若要使用显卡2和6，可以设置device_ids=[0,2]，CUDA_VISIBLE_DEVICES=6,0,2。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在一个地方看到的，顺便记录下。
可以把CUDA_VISIBLE_DEVICES看作value的列表，device_ids则是key的列表。
device_ids中的值要满足单调增，device_ids中包含的卡数不大于 os.environ[“CUDA_VISIBLE_DEVICES”]中包含的卡数即可。
比如我要用显卡2和6，可如下设置：device_ids=[0,2]，os.environ[“CUDA_VISIBLE_DEVICES”]=”6,0,2"。

使用CUDA_VISIBLE_DEVICES设置显卡
qq_43307074的博客
11-03 2万+
使用CUDA_VISIBLE_DEVICES设置显卡
pytorch之多GPU使用——#CUDA_VISIBLE_DEVICES使用 #torch.nn.DataParallel() #报错解决
热门推荐
夏普通
06-14 9万+
文章目录1. 使用所有存在的显卡2. 指定编号使用显卡3. os.environ["CUDA_VISIBLE_DEVICES"]详解3.1. ["CUDA_VISIBLE_DEVICES"]使用3.2. 关于设置["CUDA_VISIBLE_DEVICES"]无效的解决4. torch.cuda主要函数4.1. torch.cuda.is_available()判断GPU是否可用4.2. torch.cuda.device_count()查看可用GPU数量4.3. torch.cuda.current_de
CUDA_VISIBLE_DEVICES
weixin_43845922的博客
10-17 6621
请注意，如果在Python脚本中设置此环境变量，它只会影响从该脚本中导入或启动的任何子进程。PyTorch的设备管理：您可以使用torch.cuda.set_device(device_id)来明确设置希望PyTorch使用的设备。这确保只有您指定的GPU对Python进程可见，从而避免占用其他GPU的内存。因此，对于您的Python进程来说，此GPU现在的设备ID为0。某些操作可能会在后台触发GPU的使用。默认行为：PyTorch可能会在第一次调用时初始化所有可用的GPU，即使您指定使用特定的GPU。
【深度学习高效小trick】使用指定的GPU(组)搞深度学习：CUDA_VISIBLE_DEVICES || os.environ[‘CUDA_VISIBLE_DEVICES‘]=‘1‘
Thebest_jack的博客
07-07 1万+
使用指定的GPU组：CUDA_VISIBLE_DEVICES//os.environ['CUDA_VISIBLE_DEVICES']='1'---高效使用服务器的GPU！
【深度学习】CUDA_VISIBLE_DEVICES查看
weixin_44001371的博客
10-30 7038
是一个环境变量，用于指定程序将在哪些 GPU 设备上运行。它通常用于控制程序在多个 GPU 设备的系统上的 GPU 使用情况。通过设置，可以限制程序访问的 GPU 设备，以便在多任务或多用户环境中更好地管理和分配 GPU 资源。具体来说，的值是0,1,2。这表示程序将只在索引为 0、1 和 2 的 GPU 设备上运行，而忽略其他 GPU 设备。使用：在多用户或共享 GPU 资源的环境中，可以通过设置以避免冲突和资源争夺。不同的任务可以限制在不同的 GPU 上运行，以确保资源的有效使用。
使用指定GPU训练模型：os.environ[‘CUDA_VISIBLE_DEVICES‘]设置无效问题解决——随笔
qq_40481602的博客
11-07 1万+
使用指定GPU训练模型之os.environ[‘CUDA_VISIBLE_DEVICES‘]设置无效问题解决
查看NVIDIA GPU设备节点映射关系
Hi20240217的博客
07-18 1774
【代码】查看NVIDIA GPU设备节点映射关系。
PyTorch多卡训练避坑指南：从CUDA_VISIBLE_DEVICES到NCCL调优
最新发布
datacanvas2426的博客
06-05 430
类别错误做法正确方案设备分配硬编码cuda:0通信后端默认使用gloo多卡必选批大小设置所有卡相同batch_size按显存动态调整数据读取单worker加载数据混合精度全模型强制float16AMP自动管控+梯度缩放。
Pytorch基础：环境变量CUDA_VISIBLE_DEVICES
前进，才知道自己的渺小
05-13 3637
CUDA_VISIBLE_DEVICES这个环境变量可以影响CUDA能识别到的GPU，并影响它映射到的cuda设备编号。
CUDA_VISIBLE_DEVICES：控制（指定GPU）在固定的某些设备上运行Python程序
Drug discovery
01-24 3360
设置仅使用CUDA 1 设备设置仅使用CUDA 1、5、7 设备在这种情况下，export命令会将设置为环境变量，该变量会影响在同一会话中随后运行的所有命令。这意味着只要您在同一个终端会话中，之后运行的所有 CUDA 支持的程序都只能看到并使用编号为 1 的 GPU。一旦关闭了终端会话，这个环境变量设置就会失效，如果需要在新的会话中使用相同的设置，您需要再次设置它。
CUDA_VISIBLE_DEVICES‘ 不是内部或外部命令，也不是可运行的程序或批处理文件。
消极的人永远是对的，积极的人选择勇往直前
05-28 2740
如果为CUDA_VISIBLE_DEVICES 设置了不存在的设备，所有实际设备将被隐藏，CUDA 应用将无法使用GPU设备；如果设备序列是存在和不存在设备的混合，那么不存在设备前的所有存在设备将被重新编号，不存在设备之后的所有设备将被屏蔽。当主机有多个GPU设备时，设置CUDA_VISIBLE_DEVICES 环境变量可以改变CUDA程序所能使用的GPU设备。假如主机中有4块GPU设备，那么这些GPU设备的默认编号为[0,1,2,3]，在默认情况下，编号为。”，则设备2,3,0将分别被设置为。
CUDA 指定设备的方法，CUDA_VISIBLE_DEVICES 设置当前pytorch程序使用那些GPU设备
白袍小将的博客
12-12 6万+
​ 当服务器有多个GPU卡时，通过设置CUDA_VISIBLE_DEVICES环境变量可以改变CUDA程序所能使用的GPU设备，默认情况下：标号为0的显卡为主卡。
通过设置CUDA_VISIBLE_DEVICES环境变量来指定使用哪些GPU设备
重剑无锋博客
01-09 2123
在设置了CUDA_VISIBLE_DEVICES环境变量后，只有被指定的GPU设备会被程序所使用，其他未被指定的GPU设备将不可见。注意：这种方式只对使用CUDA进行加速的程序有效，对于仅使用CPU的程序无效。
os.environ[‘CUDA_VISIBLE_DEVICES‘]指定GPU后，还是用的“0“卡
创作高质量博文，分享知识，共同进步！
03-12 8370
我们经常需要指定特定的GPU设备来进行计算。然而，有时尽管已经设置了`CUDA_VISIBLE_DEVICES`环境变量，程序仍然会默认使用GPU设备“0”。本文将深入探讨这个问题，并提供相应的解决方案。
Linux I2C驱动：i2c_device_id
weixin_42109053的博客
09-04 2839
一、 Linux I2C设备驱动中，是通过 i2c_device_id 名字进行 i2c device 和i2c driver 匹配的。 例如以下在板级代码定义"twl4030"作为device名字信息。 /** * struct i2c_board_info - template for device creation * @type: chip type, to initialize i2c_client.name * @flags: to initialize i2c_client.flags
cuda编程--获取设备信息
weixin_42237615的博客
01-15 418
#include "error.cuh" #include <stdio.h> #include <cuda_runtime.h> #include <cuda_runtime_api.h> int main() { int device_id = 0; CHECK(cudaSetDevice(device_id)); cudaDeviceProp prop; CHECK(cudaGetDeviceProperties(&prop, device_id
cuda环境变量_Day229:CUDA_VISIBLE_DEVICES
weixin_35897853的博客
11-30 737
问题来源有一台服务器，服务器上有多块儿GPU可以供使用，但此时只希望使用第2块和第4块GPU，但是我们希望代码能看到的仍然是有两块GPU，分别编号为0,1，这个时候我们可以使用环境变量CUDA_VISIBLE_DEVICES来解决这个问题。解决方案CUDA_VISIBLE_DEVICES=1 只有编号为1的GPU对程序是可见的，在代码中gpu[0]指的就是这块儿GPUCUDA_VISIBLE_DE...
iOS developer account 批量上传deviceids
03-12 1235
昨天，做新证书的时候，要把公司的一些设备上传刀新帐号下，以前一直一个个上传，这次批量上传，从apple 下载下来的sample files，看到里面有3个文件，一个deviceids，两个txt文件，测试了一下，deviceids文件无法上传，txt文件可以，但是自己在写的时候老报错，说文件格式问题，提示为formatt issue，后来找到最后，原来txt文件的写法十分严格，就是在devicei
self.model = AutoModel.from_pretrained(model_path, trust_remote_code=True).cuda("cuda:0") self.model = torch.nn.DataParallel(self.model).cuda() output = model.model(input_ids, attention_mask=attention_mask)这段代码出现了如下错误： get embedding: /workspace/jina_func_analysis/test/bird /usr/local/lib/python3.8/dist-packages/torch/nn/parallel/data_parallel.py:33: UserWarning: There is an imbalance between your GPUs. You may want to exclude GPU 2 which has less than 75% of the memory or cores of GPU 0. You can do so by setting the device_ids argument to DataParallel, or by setting the CUDA_VISIBLE_DEVICES environment variable. warnings.warn(imbalance_warn.format(device_ids[min_pos], device_ids[max_pos])) Bus error (core dumped)
03-08
<think>好的，我现在需要帮用户解决他们遇到的PyTorch代码错误。用户提供的代码中，他们使用了`DataParallel`，但出现了GPU不平衡的警告，最后导致Bus错误。我需要逐步分析可能的原因，并给出解决方案。 首先，用户的第一段代码是将模型加载到cuda:0，然后使用DataParallel包装，并再次调用.cuda()。这可能有问题，因为DataParallel已经自动将模型复制到其他GPU上，所以额外的.cuda()调用可能引起问题。比如，DataParallel默认会使用所有可见的GPU，但用户可能在调用时没有正确设置device_ids，导致模型被分配到不存在的GPU上，或者重复分配导致内存问题。 接下来，用户提到的警告信息是关于GPU之间的内存或核心不平衡。这可能是因为其中一个GPU（比如GPU 2）的可用内存比其他少，或者计算资源不足。DataParallel在分发数据时，如果各GPU负载不均衡，会导致性能问题甚至错误。这时候，PyTorch建议排除不均衡的GPU，比如设置device_ids参数或调整CUDA_VISIBLE_DEVICES。 然后是Bus error (core dumped)，这通常与内存访问错误有关。可能的原因包括显存不足、多进程访问冲突，或者硬件问题。但结合前面的警告，更可能是在多GPU处理时出现了显存溢出或者数据分发的问题。 接下来，我需要检查用户的代码是否存在问题。首先，用户加载模型到cuda:0，然后使用DataParallel，但没有指定device_ids，这可能导致DataParallel尝试使用所有可用GPU。如果用户环境中存在多个GPU，其中某个GPU不可用或者显存不足，就会触发警告和错误。此外，调用.cuda()两次也可能导致模型被错误地复制到多个设备上。 解决方案方面，首先应该明确指定DataParallel的device_ids参数，确保只使用可用的、显存足够的GPU。例如，设置device_ids=[0,1]来排除GPU 2。其次，避免重复调用.cuda()，因为DataParallel已经处理了设备分配。用户可能在第二行代码中再次调用.cuda()，这会导致模型被移动到默认的GPU（可能是cuda:0），而DataParallel应该管理多个设备，这样会导致冲突。 另外，用户在使用DataParallel后，调用模型的方式是否正确？比如，输入数据是否在正确的设备上？如果输入数据在CPU上，而模型在多个GPU上，可能会导致问题。不过，通常DataParallel会自动处理输入数据的分配，但需要确保输入张量在GPU上。如果输入数据在CPU上，可能需要先将其移动到GPU，或者让DataParallel处理。 用户的环境变量设置也可能影响结果。比如，是否设置了CUDA_VISIBLE_DEVICES来限制可见的GPU？如果没有，DataParallel会使用所有可用的GPU，可能导致不均衡的问题。建议用户检查CUDA_VISIBLE_DEVICES，或者显式设置device_ids。 最后，关于Bus error，可能是在多GPU处理时某个GPU出现显存不足，导致程序崩溃。因此，优化显存使用，比如减少批量大小，或者使用更高效的内存管理策略，可能有助于解决问题。 总结可能的解决步骤： 1. 检查代码中的模型加载部分，避免重复调用.cuda()。 2. 显式设置DataParallel的device_ids，排除有问题的GPU。 3. 确保输入数据正确放置在GPU上。 4. 调整CUDA_VISIBLE_DEVICES环境变量，限制使用的GPU。 5. 检查显存使用情况，优化模型或减少批量大小。 需要进一步验证这些步骤，并给出具体的代码修改建议，帮助用户解决错误。</think>### **错误分析与解决方案** --- #### **问题定位** 1. **GPU资源分配问题**：警告明确指出GPU 2与GPU 0存在资源不平衡（显存或计算核心差异超过25%） 2. **重复设备分配**：代码中连续调用`.cuda()`导致设备映射混乱 3. **总线错误(Bus error)**：通常由多GPU显存访问冲突或硬件问题引发 --- ### **分步解决方案** --- #### **步骤1：规范模型设备分配** **原代码问题**： ```python self.model = AutoModel.from_pretrained(...).cuda("cuda:0") # 强制指定设备0 self.model = torch.nn.DataParallel(self.model).cuda() # 错误：重复设备分配 ``` **修正方案**： ```python # 统一使用DataParallel自动分配 self.model = AutoModel.from_pretrained(model_path, trust_remote_code=True) self.model = torch.nn.DataParallel(self.model).cuda() # 自动分配到所有可见GPU ``` --- #### **步骤2：控制使用的GPU设备** **方法1：通过`device_ids`参数指定** ```python # 只使用GPU 0和1（假设要排除有问题的GPU 2） self.model = torch.nn.DataParallel(self.model, device_ids=[0,1]).cuda() ``` **方法2：通过环境变量控制** ```bash # 在运行程序前设置（排除GPU 2） export CUDA_VISIBLE_DEVICES=0,1 ``` ```python # 代码中保持默认 self.model = torch.nn.DataParallel(self.model).cuda() ``` --- #### **步骤3：验证数据输入设备** **关键检查点**： ```python # 确保输入数据在GPU上（DataParallel要求所有输入在GPU 0） input_ids = input_ids.cuda() attention_mask = attention_mask.cuda() # 正确调用方式（使用module属性访问原始模型） output = self.model.module(input_ids, attention_mask=attention_mask) ``` --- #### **步骤4：排查硬件问题** ```bash # 检查GPU健康状况 nvidia-smi -q | grep "GPU Link Info" # 压力测试（使用CUDA官方工具） sudo apt install cuda-stress-tests cuda_stress_test --device 2 # 测试有问题的GPU ``` --- ### **完整修正代码示例** ```python import torch from transformers import AutoModel class CustomModel: def __init__(self, model_path): # 初始化基础模型（不指定设备） base_model = AutoModel.from_pretrained( model_path, trust_remote_code=True ) # 使用DataParallel并明确指定设备 self.model = torch.nn.DataParallel( base_model, device_ids=[0,1] # 排除有问题的GPU 2 ).cuda() def forward(self, input_ids, attention_mask): # 确保输入数据在GPU 0 input_ids = input_ids.cuda() attention_mask = attention_mask.cuda() # 通过module访问原始模型 return self.model.module( input_ids, attention_mask=attention_mask ) ``` --- ### **关键技术原理** | 操作 | 作用原理 | |---------------------|-------------------------------------------------------------------------| | `DataParallel` | 自动分割输入数据到不同GPU，在GPU 0聚合结果 | | `device_ids` | 指定实际参与计算的物理GPU编号 | | `module`属性 | 访问被DataParallel包裹的原始模型，避免多层级设备映射 | | CUDA_VISIBLE_DEVICES| 控制PyTorch可见的GPU编号，实现物理编号到逻辑编号的映射 | --- ### **扩展建议** 1. **升级PyTorch版本**（可能修复已知并行计算问题）： ```bash pip install torch==2.0.1+cu117 --extra-index-url https://download.pytorch.org/whl/cu117 ``` 2. **使用更现代的并行策略**： ```python # 使用DistributedDataParallel（推荐用于多机多卡） torch.distributed.init_process_group(backend='nccl') model = torch.nn.parallel.DistributedDataParallel(model) ``` 3. **显存优化技巧**： ```python # 使用混合精度训练 from torch.cuda.amp import autocast with autocast(): output = model(inputs) ``` 通过上述调整，可有效解决GPU资源分配不均衡导致的运行错误。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值