【解决--- CUDA out of memory---CUDA_VISIBLE_DEVICES=1】

最新推荐文章于 2024-04-04 22:01:54 发布
原创 最新推荐文章于 2024-04-04 22:01:54 发布 · 686 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #人工智能 #python #笔记 #深度学习

本文讲述了在车道线检测模型部署过程中，从pt权重文件转换为onnx权重时遇到CUDAoutofmemory问题，原因在于显卡资源被占用。通过设置CUDA_VISIBLE_DEVICES环境变量，指定使用未被占用的显卡，成功解决了内存不足的问题。
部署运行你感兴趣的模型镜像

车道线检测部署中权重文件的格式转换

pt权重文件------->onnx权重文件

由于服务器存在多块显卡，同时第一块显卡正在被占用训练网络，然而在进行权重文件转换的过程中出现了 CUDA out of memory 的问题！！！！

问题描述

RuntimeError: CUDA out of memory. Tried to allocate 714.00 MiB (GPU 0; 14.76 GiB total capacity; 74.73 MiB already allocated; 279.38 MiB free; 96.00 MiB reserved in total by PyTorch)

原因分析：

由于利用pt2onnx的代码中需要利用到GPU的显存，但是其中0卡的显存被占用了，所以导致了以上的错误

解决方案：

更改运行的命令，指定确定的显卡来运行当前的程序，就可以解决上述的问题！！！

CUDA_VISIBLE_DEVICES=1 python pt2onnx.py

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

fyc300
关注
CUDA out of memory
qq_38335768的博客
12-28 7762
RuntimeError: CUDA out of memory. Tried to allocate 4.35 GiB (GPU 0; 7.80 GiB total capacity; 4.37 GiB already allocated; 1.93 GiB free; 4.63 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to
CUDA_ERROR_OUT_OF_MEMORY: out of memory； total memory reported: 34058272768
bashan1604的博客
10-13 1611
环境 Ubuntu: 16.04 CUDA: 10.0 CUDNN: 7.6.5 执行情况 $ python3 train.py {'train': {'data_loader': {'batch_size': 1, 'resize_shape': [600, 600], 'train_and_val': 0.8, 'train_img': './data/sample/train_data/train_images', 'train_txt': './data/sample/train_data
CUDA Environment Variables: CUDA_VISIBLE_DEVICES
程永强
06-20 1万+
CUDA Environment Variables: CUDA_VISIBLE_DEVICES
Useros.environ[“CUDA_VISIBLE_DEVICES“] = “1“
llf000000的博客
04-04 1592
您可以控制哪些GPU将被CUDA应用程序看到，进而被利用。这通常用在基于CUDA的应用程序中，尤其是在使用NVIDIA GPU进行深度学习开发时。这个设置通常在程序的最开始处进行，以确保在程序运行期间CUDA能够识别并使用正确的GPU设备。），则CUDA应用程序将不会看到任何GPU，因此只能使用CPU进行计算。例如，如果您有两个GPU，它们会被编号为0和1。，这表明CUDA应用程序可以看到并使用编号为0和1的两个GPU。告诉CUDA运行时库应当使用哪些GPU设备。，即使系统中有多个GPU。
【深度学习高效小trick】使用指定的GPU(组)搞深度学习：CUDA_VISIBLE_DEVICES || os.environ[‘CUDA_VISIBLE_DEVICES‘]=‘1‘
Thebest_jack的博客
07-07 1万+
使用指定的GPU组：CUDA_VISIBLE_DEVICES//os.environ['CUDA_VISIBLE_DEVICES']='1'---高效使用服务器的GPU！
精选资源
解决出现CUDA error-out of memory的问题.pdf
11-16
理解并掌握这些技巧对于有效利用GPU资源、避免或解决“CUDA error: out of memory”问题至关重要。在实践中，应结合日志监控和调试工具，对模型的显存使用进行精细化管理，确保训练过程的顺利进行。
CUDA_VISIBLE_DEVICES=0 nohup python3 -m vllm.entrypoints.openai.api_server --model=/home/z30041960/bdpv300/ai_data_vi/models/Qwen/Qwen3_8B/export_model/train_20251121_174544 --served-model-name=train_20251121_174544 --dtype=bfloat16 --trust-remote-code --device=cuda --max-model-len=1024 --tensor-parallel-size=1 --gpu-memory-utilization=0.85 --enable-reasoning --reasoning-parser deepseek_r1 --port 8802 --api-key token-123456 &
最新发布
11-26
- **现象**：启动时崩溃，报错`CUDA out of memory` - **原因**：Qwen3-8B模型在bfloat16下约需16GB显存，若GPU显存不足则失败 - **解决方案**： - 降低`--gpu-memory-utilization`（如0.8） - 启用量化：添加`--...
2333379 IOT instruction (core dumped) CUDA_VISIBLE_DEVICES=7, python train_moe.py --depth=20 --bs=2 --ep=10 --fp16=
07-21
在使用 `CUDA_VISIBLE_DEVICES=7 python train_moe.py` 启动 MoE（Mixture of Experts）模型训练时出现 **core dumped** 错误，通常表明程序在运行过程中发生了严重的运行时错误，导致进程异常终止。此类错误可能由...
CUDA_VISIBLE_DEVICES=0 python -u train.py 这行代码在哪里运行
02-28
### 使用 CUDA_VISIBLE_DEVICES 运行 Python 训练脚本 当希望在特定环境中使用 `CUDA_VISIBLE_DEVICES` 环境变量来运行 Python 训练脚本时，可以采用几种不同的方法。这些方法适用于不同场景下的需求。 #### 方法...
cuda out of memory
AliceH1226的博客
08-28 772
推理时显存不足，可能是没有 with torch.no_grad()
Cuda out of memory
qq_42371462的博客
03-21 1750
前言 我一定要说下我这个心酸的历史啊！！！事情是这样的，我通过东拼西凑得到了一个模型，在一个数据集上一跑，哟，效果还不错，磨刀霍霍准备在其它数据集上试试效果啊。结果你猜怎么着，呵，out of memory。接下来就是我心酸的解决历史了。 问题 所有的前提都是基于这个out of memory的数据集哈。 我是训练过程中没有问题，一验证就out of memory.首先我当然是上网查询原因啦，很多人都说用下面的方法： 将模型改为eval()模式 并且使用with torch.no_grad(): model
pytorch之多GPU使用——#CUDA_VISIBLE_DEVICES使用 #torch.nn.DataParallel() #报错解决
qq_38156104的博客
11-24 5876
主要讲单机多卡（单主机多GPUs训练） 使用多卡训练的方式有很多，当然前提是我们的设备中存在多个GPU：使用命令nvidia-smi查看当前Ubuntu平台的GPU数量，其中每个GPU被编上了序号：[0,1,2,3] 0. 显卡编号（什么是主卡） 在默认情况下，标号为0的显卡为主卡，如主机中有4块显卡，那么每张显卡的默认标号为[0,1,2,3]。 如何将其他显卡设置为主卡呢？ 通过os.environ["CUDA_VISIBLE_DEVICES"]指定所要使用的显卡，如： os.environ
CUDA out of memory（CUDA显存不足）
热门推荐
yangyalun的博客
07-21 1万+
1.查看CUDA使用情况。 在C:\Program Files\NVIDIA Corporation\NVSMI位置打开命令行，然后输入nvidia-smi.exe -l 1，可每秒更新CUDA使用情况，如图所示。 2.本机的CUDA显存为2048MiB，当前使用为67MiB，运行模型后，发现当前CUDA使用情况超过2048MiB，解决方法为减小batch_size的大小（减小后结果可能会变差），若减小batch_size后CUDA显存还是不足或者是结果很差，那么就放弃使用GPU，使用CPU就行了。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值