GPU编程

最新推荐文章于 2025-06-25 15:52:01 发布
原创 最新推荐文章于 2025-06-25 15:52:01 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何通过shell命令`watch -n 1 nvidia-smi`监控GPU使用情况，以及在Python中利用PyTorch检查GPU可用性。同时，讲解了如何指定使用特定GPU进行计算，并提供了将数据移到GPU上的两种方法。还提到了加速技巧和模型在GPU与CPU之间的转换加载方法，包括多GPU环境的处理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  • 查看服务器上gpu使用情况(shell)

 watch -n 1 nvidia-smi

  • 查看当前环境是否有gpu（python）

torch.cuda.is_available()

  • 指定使用某一块gpu（单GPU）

os.environ["CUDA_VISIBLE_DEVICES"] = "3"

  • 将数据放到gpu上计算

方法一：

a_cuda = a.cuda()

方法二：

self.device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')

self.D.to(self.device)# self.device ==‘cpu’ or ‘cuda’

  • 加速

torch.backends.cudnn.benchmark = True # to speed up

  • GPU、CPU模型的转换加载

CPU->CPU,GPU->GPU

torch.load('gen_500000.pkl')

GPU->CPU

torch.load('gen_500000.pkl', map_location=lambda storage, loc: storage)

CPU->GPU1

torch.load('gen_500000.pkl', map_location=lambda storage, loc: storage.cuda(1))

参考链接：https://blog.youkuaiyun.com/dcrmg/article/details/79503978

  • 多GPU

https://blog.youkuaiyun.com/qq_19598705/article/details/80396325

 

 

 

 

 

 

 

 

 

 

 

 

python函数笔记总结
qq_37959202的博客
03-27 1847
1.logging模块的使用 from resource.util.get_logger import get_logger main_logger=get_logger("main","data/log/{}.log".format(TrainOption.task_uuid)) main_logger.info("TASK ID {}".format(TrainOption.task_uui...
PyTorch中to(self.device)在哪一阶段使用
YHKKun的博客
04-21 488
在模型初始化后立即使用，并且在每次处理数据批次之前也要使用，以移动模型、输入数据和目标标签到想要使用的设备上。这样可以确保所有的计算都在同一设备上进行，避免出现设备不一致导致的错误。在初始化模型之后，应该立即将模型发送到指定的设备。这样可以确保模型的参数和缓存都在正确的设备上。这一步通常在主训练循环开始之前完成。在每次将数据送入模型进行前向传播之前，也需要将数据移动到相同的设备上。这通常发生在训练循环或评估循环内部。
CUDA开启的GPU编程
最新发布
喜欢打篮球的普通人
06-25 665
_global__ 用于定义核函数，他在 GPU 上执行，从 CPU 端通过三重尖括号语法调用，可以有参数，不可以有返回值。\ __device__ 则用于定义设备函数，他在 GPU 上执行，但是从 GPU 上调用的，而且不需要三重尖括号，和普通函数用起来一样，可以有参数，有返回值。即：host 可以调用 global；global 可以调用 device；device 可以调用 device。__device__ 将函数定义在 GPU 上，而 __host__ 则相反，将函数定义在 CPU 上。
爆改YOLOV7的detect.py制作成API接口供其他python程序调用（超低延时）
Leon的博客
07-27 1万+
YOLO系列框架凭借其超高的运行流畅度和不俗的准确率，一直被广泛地应用到各个领域。刚刚推出不久的YOLOV7在5FPS到160FPS范围内的速度和精度达到了新的高度，并在GPUV100上具有30FPS或更高的所有已知实时目标检测器中具有最高的精度56.8%AP。作为目标检测领域的一种框架，YOLOV7能在超低延时的情况下，还能把准确率提升一个层次，效果相当惊人。............
2021-12-3
m0_59850509的博客
12-25 651
2021SC@SDUSC
BERT |（3）BERT模型的使用--pytorch的代码解释
热门推荐
qq_40276310的博客
03-13 1万+
参考代码：https://github.com/649453932/Bert-Chinese-Text-Classification-Pytorch 从名字可以看出来这个是做一个中文文本分类的的任务，具体就是做新闻文本分类的任务，具体有以下几个类，属于多分类的问题 目录 一、如何让你下载的代码跑起来 二、bert模型的使用 模型代码学习-CLS文本分类-Bert-Chinese-Text-Classification-Pytorch代码学习-训练并测试过程 模型代码学习-CLS文本分类-Be
CUDA并行程序设计 GPU编程指南,cuda并行程序设计gpu编程指南pdf,C,C++
09-11
CUDA并行程序设计GPU编程指南是针对这一技术的专业参考资料，旨在帮助程序员深入理解和掌握CUDA编程。 CUDA的核心概念包括以下几点： 1. **CUDA核心（CUDA Cores）**：GPU中的运算单元，执行线程块内的线程。这些...
GPU编程与CG语言之阳春白雪下里巴人_GPU_图形学_
10-04
《GPU编程与CG语言之阳春白雪下里巴人》是一本专为初学者准备的GPU编程指南，它深入浅出地介绍了GPU编程的核心概念和技术，涵盖了从基础到高级的各个方面。GPU，全称为Graphics Processing Unit，即图形处理器，如今...
GPU编程与CG语言之阳春白雪下里巴人_herselfizi_GPU_着色器_
10-02
《GPU编程与CG语言之阳春白雪下里巴人》是一部专为Unity Shader初学者编写的书籍，旨在帮助读者深入理解和掌握GPU编程以及CG语言在游戏开发中的应用。该书结合了理论与实践，旨在让复杂的GPU编程概念变得易于理解，...
CUDA并行程序设计 GPU编程指南
04-14
CUDA并行程序设计：GPU编程指南共分为12章。第1章从宏观上介绍流处理器演变历史。第2章详解GPU并行机制，深入理解串行与并行程序，以辩证地求解问题。第3章讲解CUDA设备及相关的硬件和体系结构，以实现优CUDA程序...
GPU编程与优化
02-25
GPU编程与优化--大众高性能计算。扫描版，完整，433页。
解释：DEVICE = "cuda" if torch.cuda.is_available() else "cpu" type1 = str(300) TRAIN_DIR_BPH1 = "C:/Use...
weixin_35756892的博客
02-16 5276
这是一段Python代码，目的是为了检测当前计算机是否支持使用CUDA(即NVIDIA的GPU计算平台)，如果支持，则将DEVICE变量设置为"cuda"，否则设置为"cpu"。 另外，代码中还定义了一个名为"type1"的变量，其值为字符串"300"。接着，定义了一个名为"TRAIN_DIR_BPH1"的变量，其值为一个路径字符串，该路径包含了"type1"变量的值，并指向了一个文件夹，该文件夹...
2021SC@SDUSC山东大学软件学院软件工程应用与实践--YOLOV5代码分析（十五）torch_utils.py
xjunjin的博客
12-06 3520
2021SC@SDUSC 前言 本文分析yolov5代码中torch_utils.py文件，主要是一些封装好的工具类。 torch_distributed_zero_frist函数 @contextmanager def torch_distributed_zero_first(local_rank: int): """ Decorator to make all processes in distributed training wait for each local_maste
guided-pix2pix 代码略解
SY_qqq的博客
04-29 826
《Guided Image-to-Image Translation with Bi-Directional Feature Transformation》 train.py model.set_input(data) model.optimize_parameters() 开始训练 models/guided_pix2pix_model.py def set_input(self, input): self.real_A
pytorch的网络等转移到cuda
aleien的博客
11-13 2871
神经网络一般用GPU来跑，我们的神经网络框架一般也都安装的GPU版本，本文就简单记录一下GPU使用的编写。 GPU的设置不在model，而是在Train的初始化上。 第一步是查看是否可以使用GPU self.GPU_IN_USE = torch.cuda.is_available() 就是返回这个可不可以用GPU的函数，当你的pytorch是cpu版本的时候，他就会返回False。 然后是： s...
Pytorch框架下，在多GPU上训练，CPU下测试时的问题小记
weixin_44425647的博客
03-10 670
多GPU服务器训练的错误小记
pytorch版本RetinaFace人脸检测模型推理加速
胖胖大海的博客
02-18 5037
本文介绍的方法是提升pytorch版本RetinaFace代码在数据预处理阶段的速度，使用纯pytorch框架进行模型推理，并不涉及模型的onnx、tensorrt部署等方法。本文介绍的方法适用于从磁盘加载分辨率相同的一批图像使用RetinaFace进行人脸检测，能够带来30%的性能提升。关于pytorch_retinaface使用tensorrt部署请参考https://github.com/wang-xinyu/tensorrtx/tree/master/retinaface。 先上优化前后...
关于pytorch中CUDA的使用问题总结
slighttt的博客
07-12 1168
pytorch下关于GPU使用的一系列问题
Pytorch入门深度学习（3）——Pytorch入门及MNIST实现（OOP）
wa1tzy的博客
06-02 753
一、Pytorch介绍 1）Pytorch介绍 PyTorch 是 Torch 在 Python 上的衍生. 因为 Torch 是一个使用 Lua 语言的神经网络库, Torch 很好用, 但是 Lua 又不是特别流行, 所有开发团队将 Lua 的 Torch 移植到了更流行的语言 Python 上. 2）Pytorch和Tensorflow Pyrtoch最大的优点就是建立的神经网络是动态的，对比静态的TensorFlow，它能更加有效地去处理一些问题，Tensorflow 的静态计算图使得他在 RNN
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值