使用GPU跑代码，设置使用哪块GPU

原创 已于 2023-02-21 19:44:02 修改 · 3.4k 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

于 2022-11-11 15:48:41 首次发布
本文介绍了如何在服务器上查看并选择CUDA GPU进行运算。通过`nvidia-smi`命令检查服务器上的GPU设备，然后在PyTorch代码中利用`torch.device()`函数指定使用0号或1号GPU进行计算。这为多GPU环境下的深度学习任务提供了基础操作指导。
部署运行你感兴趣的模型镜像

服务器多张GPU同时跑代码
1、 查看电脑的显卡有几块(在控制台输入)

nvidia-smi

在这里插入图片描述
发现服务器有两个显卡，0号和1号

2、 在代码中指定GPU
使用0号显卡：

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
net.to(device)

nvidia-smi

在这里插入图片描述

使用1号显卡：

device = torch.device("cuda:1" if torch.cuda.is_available() else "cpu")
net.to(device)

您可能感兴趣的与本文相关的镜像

PyTorch 2.6

PyTorch 2.6

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

使用gpu跑代码
weixin_40680322的博客
04-25 4620
配置tensorflow-gpu环境 代码里选择指定gpu【可选】 import os os.environ['CUDA_VISIBLE_DEVICES'] = '0' # 使用 GPU 0 os.environ['CUDA_VISIBLE_DEVICES'] = '0,1' # 使用 GPU 0，1 终端设置可见gpu【可选】 CUDA_VISIBLE_DEVICES=...
pytorch使用记录（六） 明确使用哪块GPU
daydayjump的博客
05-09 3580
可以用在多GPU的服务器上，明确使用的是哪块GPU，可以将信息打印出来，返回的是device的列表。 具体用到的pytorch函数是torch.cuda.device_count()，返回可得到的GPU数量。 接下来是具体函数代码，分为两部分，一个主函数get_proper_device明确使用GPU还是CPU，另外一个函数get_proper_cuda_device是明确具体使用哪块GPU。...
指定GPU运行python程序
猫敷雪
04-23 4638
Persistence-M：持续模式的状态开关，该模式耗能大，但是启动新GPU应用时比较快，这里是off。1、首先查看哪些GPU空闲，nvidia-smi显示当前GPU使用情况。Perf：性能状态，从P0到P12，P0性能最大，P12最小。GPU-Util：GPU利用率，第一个是74%，第二个未用。Fan：风扇转速，在0到100%之间变动，第一个是29%Name：显卡名，这里两块都是GeForce。Temp：显卡温度，第一个是60摄氏度。GPU：编号，这里是0和1。Bus-Id：GPU总线。
指定程序在哪个GPU上运行
傲笑风的博客
09-24 6253
当本地（或服务器）有个多个GPU时，需要指定程序在指定GPU上运行，需要做以下设置。
多GPU指定运行某个GPU
Ppandaer的博客
07-09 1077
在你的代码中，你可以在加载模型到GPU之前，添加一行代码来设置要使用的GPU。GPU的索引号是从0开始的，所以GPU-1实际上是第二个GPU。如果想要在第一个GPU上运行你的程序，应该使用。参数是你想要使用的GPU的索引号，例如，如果你有两个GPU，那么它们的索引号分别是0和1。函数中创建了一个CUDA张量。你应该确保这个张量在你选择的GPU上，可以通过在。此外，需要确保的所有CUDA张量也在同一个GPU上。在PyTorch中，你可以使用[来设置要使用的GPU。
怎么用gpu跑python程序_如何免费使用GPU跑深度学习代码
weixin_39589557的博客
12-03 4723
从事深度学习的研究者都知道，深度学习代码需要设计海量的数据，需要很大很大很大(重要的事情说三遍)的计算量，以至于CPU算不过来，需要通过GPU帮忙，但这必不意味着CPU的性能没GPU强，CPU是那种综合性的，GPU是专门用来做图像渲染的，这我们大家都知道，做图像矩阵的计算GPU更加在行，应该我们一般把深度学习程序让GPU来计算，事实也证明GPU的计算速度比CPU块，但是(但是前面的话都是废话)我们...
【python】pytorch包（第三章）GPU上运行代码
高斯的博客
05-23 3660
结果为True即可行，否则不可行。
怎么使用哪块gpu
最新发布
10-14
在ONNX Runtime中进行CUDA加速推理时，可以通过以下两种方式指定使用哪块GPU： ## 方法一：通过CUDAExecutionProvider选项指定设备ID 这是最直接的方式，在创建InferenceSession时通过`CUDAExecutionProvider`的`...
如何选择启动哪块GPU运行代码
01-20
device = torch.device('cuda:1') # 这里的'1'表示使用第二块GPU model.to(device) for input_data in data_loader: input_data = input_data.to(device) output = model(input_data) ``` 这里需要注意的是，...
gcloud k8s挂载gpu跑大模型代码及问题排查
weixin_41973200的博客
08-06 905
gcloud k8s挂载gpu跑大模型代码
tensorflow使用GPU训练
ftfy123的博客
03-04 1万+
1. 查看gpu的使用详情： （1）查看gpu使用情况 nvidia-smi.exe # windows上 nvidia-smi -l #linux服务器上 # 显示的结果中 Volatile GPU-Util：浮动的GPU利用率； （2）linux上查看进程占用gpu的情况： ##实用技巧： ##如果你在linux终端运行深度学习python脚本文件，运行中发现占用多个GPU和内存...
Python — — GPU编程
SoyMilk的博客
06-17 6687
使用@cuda.jit装饰器定义 GPU 核函数，这与 CPU 加速中使用的@jit类似，但@cuda.jit@cuda.jit# 核函数体，使用 CUDA 线程索引进行计算# 例如: position = cuda.grid(1)：其中用于确定当前线程在执行的整个网格（grid）中的位置，这里的参数1表示一维的GPU网格索引，如果是则表示二维的GPU网格索引。线程（Thread）：执行计算的最小单元。块（Block）：一组线程，它们可以共享数据并通过共享内存进行通信。网格（Grid）
让python程序在gpu上运行
qq_45195217的博客
01-24 1万+
让python程序在gpu上运行1. windows下直接输入nvidia-smi显示不是内部或外部命令也不是可运行的程序2. 添加程序到gpu（1）桌面右键打开NVIDIA控制面板，点击管理3D设置--程序设置--添加--浏览，把需要在gpu跑的程序的文件夹添加进去；（2）设置高性能处理器（3）查看该gpu上运行的程序3. 查看gpu占用情况 1. windows下直接输入nvidia-smi显示不是内部或外部命令也不是可运行的程序 找到nvidia 添加C:\Program Files\NVIDIA
个人学习记录--武大超算怎么使用GPU跑程序？怎么使用多块GPU并行运算？
weixin_44309437的博客
03-12 2373
个人学习记录
使用GPU跑代码，如何指定显卡
zhangxiaoneinei的博客
09-19 896
2.服务器一般有多个卡，跑代码时指定显卡运行。1.选择使用GPU还是CPU运行代码。
【多GPU训练】选择服务器中部分指定GPU进行使用
qq_45193872的博客
01-26 1万+
使用背景： 主机多GPU情况下选择指定部分GPU使用 很多服务器在进行配备时会装配多块GPU，那么我们在使用服务器时，有时可能会多个终端对服务器进行操控，因此有时需要对特定的GPU进行指定操作，才不会使用户之间使用GPU时相互影响；或者需要指定特定数量的GPU才能达到训练效果。
使用GPU运行python项目之环境配置
热门推荐
pengxiang1998的博客
06-18 4万+
简单科普：CPU适合串行计算，擅长逻辑控制。GPU擅长并行高强度并行计算，适用于AI算法的训练学习GPU教为侧重于运算，因此GPU常被用于一些深度学习的项目
如何在服务器使用GPU跑深度学习代码
C17875478487的博客
03-12 3082
"掌握高效AI模型训练：从环境搭建到数据处理，一文带你快速入门恒源云平台，轻松上传、训练与下载YOLOv5模型！"
在Anaconda中配置CUDA调用GPU跑代码（依赖之前文章）
m0_62907835的博客
02-04 2676
打开Anaconda Prompt，输入。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值