torch.cuda

原创 已于 2023-11-02 20:24:04 修改 · 8.7k 阅读 · 30 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #深度学习 #机器学习

于 2022-08-30 19:25:12 首次发布
这个包提供了对CUDA张量的支持，实现与CPU张量相同的功能，利用GPU进行计算。包括当前CUDA设备、流、内存管理和随机数生成器的相关函数，如current_device(), memory_allocated(), set_rng_state()等，适用于深度学习和机器学习场景。" 125211589,9031025,Elasticsearch 冷热数据分离策略,"['Elasticsearch', '大数据', '搜索引擎']

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

参考 torch.cuda - 云+社区 - 腾讯云

目录

torch.cuda.current_blas_handle()

torch.cuda.current_device()

torch.cuda.current_stream(device=None)

torch.cuda.default_stream(device=None)

class torch.cuda.device(device)

torch.cuda.device_count()

class torch.cuda.device_of(obj)

torch.cuda.empty_cache()

torch.cuda.get_device_capability(device=None)

torch.cuda.get_device_name(device=None)

torch.cuda.init()

torch.cuda.ipc_collect()

torch.cuda.is_available()

torch.cuda.max_memory_allocated(device=None)

torch.cuda.max_memory_cached(device=None)

torch.cuda.memory_allocated(device=None)

torch.cuda.memory_cached(device=None)

torch.cuda.reset_max_memory_allocated(device=None)

torch.cuda.reset_max_memory_cached(device=None)

torch.cuda.set_device(device)

torch.cuda.stream(stream)

torch.cuda.synchronize(device=None)

Random Number Generator

torch.cuda.get_rng_state(device='cuda')

torch.cuda.get_rng_state_all()

torch.cuda.set_rng_state(new_state, device='cuda')

torch.cuda.set_rng_state_all(new_states)

torch.cuda.manual_seed(seed)

torch.cuda.seed()

torch.cuda.seed_all()

torch.cuda.initial_seed()

Communication collectives

torch.cuda.comm.broadcast(tensor, devices)

torch.cuda.comm.broadcast_coalesced(tensors, devices, buffer_size=10485760)

torch.cuda.comm.reduce_add(inputs, destination=None)

torch.cuda.comm.scatter(tensor, devices, chunk_sizes=None, dim=0, streams=None)

torch.cuda.comm.gather(tensors, dim=0, destination=None)

Streams and events

class torch.cuda.Stream

query()

record_event(event=None)

synchronize()

wait_event(event)

wait_stream(stream)

class torch.cuda.Event

elapsed_time(end_event)

ipc_handle(）

query()

record(stream=None)

synchronize()

wait(stream=None)

Memory management

torch.cuda.empty_cache()

torch.cuda.memory_allocated(device=None)

torch.cuda.max_memory_allocated(device=None)

torch.cuda.reset_max_memory_allocated(device=None)

torch.cuda.memory_cached(device=None)

torch.cuda.max_memory_cached(device=None)

torch.cuda.reset_max_memory_cached(device=None)

NVIDIA Tools Extension (NVTX)

torch.cuda.nvtx.mark(msg)

torch.cuda.nvtx.range_push(msg)

torch.cuda.nvtx.range_pop()

这个包增加了对CUDA张量类型的支持，它实现了与CPU张量相同的功能，但是它们利用gpu进行计算。它是惰性初始化的，所以你总是可以导入它，并使用is_available()来确定您的系统是否支持CUDA。CUDA语义提供了更多关于使用CUDA的细节。

torch.cuda.current_blas_handle()

返回指向当前cuBLAS句柄的cublasHandle_t指针。

torch.cuda.current_device()

返回当前选定设备的索引。

torch.cuda.current_stream(device=None)

返回给定设备当前选定的流。

参数：

  • device (torch.device or int, optional) – 选定的设备。返回当前设备当前选择的流，如果设备为None(默认)，则由current_device()给出。

torch.cuda.default_stream(device=None)

返回给定设备的默认流。

参数：

  • device (torch.device or int, optional) – 选定的设备。返回当前设备的默认流，如果设备为None(默认)，则由current_device()提供。

class torch.cuda.device(device)

更改所选设备的上下文管理器。

参数：

  • device (torch.device or int) – 要选择的设备索引。如果这个参数是负整数或None，那么它就是no-op。

torch.cuda.device_count()

返回可用的gpu数量。

class torch.cuda.device_of(obj)

将当前设备更改为给定对象的设备的上下文管理器。您可以同时使用张量和存储作为参数。如果一个给定的对象没有分配在GPU上，这是一个no-op。

参数：

obj (Tensor or Storage) – 在选定设备上分配的对象。

torch.cuda.empty_cache()

释放缓存分配器当前持有的所有未占用的缓存内存，以便这些内存可以在其他GPU应用程序中使用，并在nvidia-smi中可见。

注意

empty_cache()不会增加PyTorch可用的GPU内存。有关GPU内存管理的更多细节，请参见内存管理。

torch.cuda.get_device_capability(device=None)

获取设备的cuda功能。

参数：

  • device (torch.device or int, optional) – 用于返回设备功能的设备。如果这个参数是一个负整数，那么这个函数就是no-op。如果设备为None(默认)，则使用current_device()提供的当前设备。

返回值：

  • 主要和次要cuda功能的设备，返回类型。

tuple(int, int)

torch.cuda.get_device_name(device=None)

获取设备的名称。

参数：

  • device (torch.device or int, optional) – 用于返回名称的设备。如果这个参数是一个负整数，那么这个函数就是no-op。如果设备为None(默认)，则使用current_device()提供的当前设备。

torch.cuda.init()

初始化PyTorch的CUDA状态。如果您通过PyTorch的C API与它进行交互，可能需要显式地调用这个函数，因为在初始化之前，CUDA功能的Python绑定不会这样做。普通用户不应该需要这样做，因为PyTorch的所有CUDA方法都会根据需要自动初始化CUDA状态。如果CUDA状态已经初始化，则不执行任何操作。

torch.cuda.ipc_collect()

Force在CUDA IPC释放GPU内存后收集GPU内存。

注意：

检查是否有任何已发送的CUDA张量可以从内存中清除。如果没有活动计数器，则强制关闭用于引用计数的共享内存文件。当生成器进程停止主动发送张量并希望释放未使用的内存时，此函数非常有用。

torch.cuda.is_available()

返回一个bool，指示CUDA当前是否可用。

torch.cuda.max_memory_allocated(device=None)

返回给定设备张量占用的最大GPU内存(以字节为单位)。默认情况下，这将返回自该程序开始以来分配的内存峰值。reset_max_memory_assigned()可用于重置跟踪此指标的起始点。例如，这两个函数可以测量训练循环中每个迭代的分配内存使用量峰值。

参数：

  • device (torch.device or int, optional) – 选定的设备。返回当前设备的统计信息，由current_device()给出，如果设备为None(缺省值)。

注意

有关GPU内存管理的更多细节，请参见内存管理。

torch.cuda.max_memory_cached(device=None)

返回缓存分配器为给定设备管理的最大GPU内存(以字节为单位)。默认情况下，这将返回自该程序开始以来的峰值缓存内存。reset_max_memory_cached()可用于重置跟踪此指标的起始点。例如，这两个函数可以测量训练循环中每个迭代的峰值缓存内存量。

参数：

  • device (to
最低0.47元/天 解锁文章

200万优质内容无限畅学
Pytorch训练模型时如何释放GPU显存 torch.cuda.empty_cache()内存释放以及cuda的显存机制探索
捡起一束光的博客
04-15 9万+
前言 训练模型时，一般我们会把模型model，数据data和标签label放到GPU显存中进行加速。 但有的时候GPU Memory会增加，有的时候会保持不变，以及我们要怎么清理掉一些用完的变量呢？ 下面让我们一起来探究下原理吧！ pytorch训练 只要你把任何东西（无论是多小的tensor）放到GPU显存中，那么你至少会栈1000MiB左右的显存（根据cuda版本，会略有不同）。这部分显存是cuda running时固有配件必须要占掉的显存，你先训练过程汇总也是无法释放的。 import torch
成功解决torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 86.00 MiB (GPU 0； 2.00 GiB to
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-02 1万+
​ 成功解决torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 86.00 MiB (GPU 0; 2.00 GiB total capacity; 1.67 GiB already allocated; 0 bytes free; 1.67 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_s
torch.cuda常用指令
qq_43307074的博客
11-03 9562
torch.cuda常用指令
torch cuda 版本安装 pytorch
njsgcs的博客
05-27 391
【代码】torch cuda 版本安装。
Torch与cuda
m0_49448331的博客
11-18 889
PyTorch 是一个开源的深度学习框架，由Facebook（现 Meta）AI团队开发，广泛用于研究和生产环境中。torch是 PyTorch 的核心库，用于处理张量（Tensor）计算、深度学习模型的定义和训练。是由 NVIDIA 提供的一种并行计算平台和编程模型，专门用于加速 GPU 上的计算任务。使用 CUDA 可以将计算密集型任务（如深度学习、科学计算、图像处理等）从 CPU 转移到 GPU，以显著提升计算速度。
torch的cuda相关函数
rosemary1225的博客
06-23 258
返回GPU中tensor峰值分配内存。返回当前tensor占用的显卡大小。pytorch中关于cuda的的一些常用函数。作用查看GPU是否可用。
torch.cuda用法
weixin_47156261的博客
05-12 1万+
下面是torch.cuda的一些常用函数： import torch #检查cuda是否可以使用 torch.cuda.is_available() #查看当前gpu索引号 torch.cuda.current_device() #查看当前cuda流 torch.cuda.current_stream(device=0) #选择device torch.cuda.device(1) #查看有多少个GPU设备 torch.cuda.device_count() #查看gpu的容量 torch.cuda.get
torch.cuda.is_available（）返回False解决方案
12-21
`torch.cuda.is_available()` 是一个重要的函数，用于检查当前系统是否能够使用CUDA，即NVIDIA的GPU加速库。当这个函数返回 `False` 时，意味着你的程序将无法在GPU上运行，而会退化到使用CPU。以下是一些可能导致 `...
torch.cuda.is_available()返回False的问题解决
04-02
torch.cuda.is_available()返回False的问题解决
torch.cuda.amp- 自动混合精度详解.docx
09-16
torch.cuda.amp - 自动混合精度详解 torch.cuda.amp 模块是 PyTorch 中的一个自动混合精度模块，旨在提高深度学习模型的训练速度和效率。自动混合精度（Automatic Mixed Precision, AMP）训练是指在训练一个数值...
神经网络 torch----使用GPU（cuda）
用来自己学习，复习
06-17 2177
在训练过程中，要想利用我们的GPU，有两个基本要求。这些要求如下：默认情况下，在创建 PyTorch 张量或 PyTorch 神经网络模块时，会在 CPU 上初始化相应的数据。具体来说，这些数据存在于 CPU 的内存中。
Windows下安装Torch+cuda（Pytorch、Anaconda、Pycharm、NVIDIA驱动）、Jupyter
coolgcoder的博客
10-26 5532
若多次尝试仍无法正常安装，安装失败的原因有很多，此处难以一一列出解答，建议根据报错提示寻找对应的解决方案。安装教程可参考：https://helpx.adobe.com/cn/premiere-pro/kb/drivers-video-win-nvidia.html。安装，安装过程中建议自行配置安装目录，并确认添加运行环境到Path中，安装后通过cmd命令行输入conda -V 查看是否安装以及版本号。安装失败的原因有很多，此处难以一一列出解答，建议根据报错提示寻找对应的解决方案。
torch.cuda相关
猛码Memmat
08-28 276
cuda
关于torch.cuda.device
qq_25272901的博客
05-15 1146
Torch关于cuda的使用 torch在使用cuda的过程中一定要确定好使用的范围，如module本身，loss，读取数据的部分以及模型中新定义的tensor，需要统一加才可以正常执行
PyTorch使用教程(11)-cuda的使用方法
深图智能工作室
01-19 2202
Torch是一个流行的深度学习库，由PyTorch开发团队创建，主要用于Python编程环境。当Torch结合CUDA时，它可以显著提升训练深度神经网络的速度。通过将数据和计算转移到GPU上，利用GPU的大量并行核心处理大量矩阵运算，实现对大规模数据集的高效处理
Torch学习——使用CUDA
灰巧克力爱松露
11-12 1万+
Torch学习——使用CUDA 1. CUDA安装 CUDA在Ubuntu下的安装[1]还是很方便的。
torch, cuda, 单机多卡与DDP分布式
yichudu
11-24 2899
scatter()方法将一个batch的数据散列成若干份, 同 device 个数相等, 便于数据并行. 在单机多卡环境, pdb debug有印证.构造调用如 net = torch.nn.DataParallel(model, device_ids=[0, 1, 2]).报错显示 A10 型号的gpu较新, 我实际安装的的是 cuda_10.2, 重装 cuda_11.3 应该就好了.验证cuda {硬件, 驱动, 库} 是否就绪, 通过。简单讲, 高版本cuda兼容低版本硬件, 反之则不行.
pytorch-gpu的使用
RichardoMu的博客
07-17 803
1. 服务器GPU状态查询 1） lspci | grep -i nvidia 可以查询所有nvidia显卡 2） lspci -v -s [显卡编号] 可以查看显卡具体属性 3） nvidia-smi 可以查看显卡的显存利用率 2. torch.cuda主要函数 1) 查看是否有可用GPU、可用GPU数量： torch.cuda.is_available(), torch.cuda.device_count() 2) 查看当前使用的GPU序号：torch.cuda.current_device() 3)
torch.cuda.device
最新发布
07-18
<think>我们正在讨论的是`torch.cuda.device`，它是一个上下文管理器，用于临时切换默认的CUDA设备。 根据引用[1]和引用[2]中关于设备使用的上下文，我们可以结合这些信息来回答。 注意：引用[3]提到的是CUDA不可用的问题，但我们的问题是关于`torch.cuda.device`的用法，所以主要参考引用[1]和[2]。 功能：`torch.cuda.device` 是一个上下文管理器，用于在代码块内部临时切换默认的CUDA设备。当进入该上下文时，所有在上下文中创建的CUDA张量将被分配到指定的设备上。它不会影响已经存在的张量，也不会改变当前线程的当前CUDA流。 使用方法： 1. 导入torch 2. 使用`with torch.cuda.device(id):`来创建一个上下文，其中`id`是GPU设备的索引（整数）或一个设备对象（如`torch.device('cuda:0')`）。 3. 在该上下文中创建的张量将默认位于指定的设备上。 示例代码： import torch # 假设我们有两块GPU device0 = torch.device('cuda:0') device1 = torch.device('cuda:1') # 默认情况下，当前设备是0（如果没有设置过的话） # 使用上下文管理器临时切换到设备1 with torch.cuda.device(device1): # 在设备1上创建张量 a = torch.tensor([1.0, 2.0], device='cuda') # 注意：这里可以不写索引，因为上下文已经指定了默认设备 # 也可以直接使用设备对象 b = torch.tensor([3.0, 4.0], device=device1) # 效果同上 # 在上下文外，默认设备又恢复为原来的设备（设备0） c = torch.tensor([5.0, 6.0], device='cuda') # 在设备0上创建 # 验证 print(a.device) # 输出：cuda:1 print(b.device) # 输出：cuda:1 print(c.device) # 输出：cuda:0 注意：这个上下文管理器只影响默认的设备选择。如果显式指定了设备（如`device='cuda:0'`），则优先使用显式指定的设备。 另外，我们也可以使用整数作为设备索引： with torch.cuda.device(1): d = torch.tensor([7.0, 8.0], device='cuda') # 在设备1上 重要：这个上下文管理器不会改变当前线程的当前CUDA流（关于CUDA流，请参考PyTorch文档）。 另外，我们还可以使用`torch.cuda.set_device(device_index)`来设置默认的CUDA设备，但它是全局设置，会影响整个线程。而`torch.cuda.device`上下文管理器是局部的，只影响其内部的代码块。 引用[1]提到：通过不断学习和实践，你将能够更有效地利用GPU资源来加速你的深度学习任务。因此，合理使用设备上下文管理器可以帮助我们更好地管理多GPU任务。 现在，根据用户的问题，我们回答`torch.cuda.device`的作用及使用方法。 同时，生成相关问题。</think>### PyTorch 中 `torch.cuda.device` 的作用及使用方法详解 `torch.cuda.device` 是 PyTorch 提供的**设备上下文管理器**，用于在代码块中临时切换默认的 CUDA 设备。其核心功能是**动态控制 GPU 计算资源的分配**，特别适用于多 GPU 环境下的设备管理。 --- #### 一、核心功能 1. **临时设备切换** 在 `with` 语句块内创建的所有 CUDA 张量/模型会自动分配到指定设备 ```python # 在设备1上创建张量 with torch.cuda.device(1): tensor1 = torch.randn(3) # 自动创建在 GPU 1 ``` 2. **避免显式指定设备** 简化代码，避免重复书写 `device='cuda:X'` ```python # 等效于显式指定 tensor2 = torch.randn(3, device=torch.device('cuda:1')) ``` 3. **嵌套设备控制** 支持多层上下文管理，内层覆盖外层设置 ```python with torch.cuda.device(0): # 外层：设备0 with torch.cuda.device(1): # 内层：设备1 model = MyModel() # 创建在 GPU 1 data = torch.randn(10, 10) # 创建在 GPU 0 ``` --- #### 二、使用方法 ##### 基础语法 ```python import torch with torch.cuda.device(device_id): # device_id 为整数或设备对象 # 在此区域内创建的 CUDA 对象自动分配到指定设备 ... ``` ##### 典型应用场景 1. **单 GPU 环境指定设备** ```python # 确保 CUDA 可用 [^2] if torch.cuda.is_available(): with torch.cuda.device(0): # 指定 GPU 0 model = MyModel() # 模型在 GPU 0 data = data.cuda() # 数据迁移到 GPU 0 ``` 2. **多 GPU 并行计算** ```python # 在 GPU 0 和 GPU 1 分别执行任务 results = [] for i in range(2): with torch.cuda.device(i): x = torch.randn(1000, device='cuda') # 自动选当前设备 results.append(x * 2) ``` 3. **与 `torch.cuda.Event` 配合计时** [^2] ```python start_event = torch.cuda.Event(enable_timing=True) end_event = torch.cuda.Event(enable_timing=True) with torch.cuda.device(1): start_event.record() # GPU 1 上的计算操作 result = complex_operation() end_event.record() torch.cuda.synchronize() print(f"耗时: {start_event.elapsed_time(end_event)} ms") ``` --- #### 三、注意事项 1. **作用域限制** 只影响 `with` 块内**新创建**的对象，不影响已存在的对象 ```python tensor_cpu = torch.randn(3) with torch.cuda.device(1): tensor_gpu = tensor_cpu.cuda() # tensor_gpu 在 GPU 1 # tensor_cpu 仍在 CPU ``` 2. **设备索引规则** - 有效范围：`0` 到 `torch.cuda.device_count()-1` - 非法索引会引发 `RuntimeError` 3. **与全局设置的优先级** 上下文管理器优先级高于 `torch.cuda.set_device()` ```python torch.cuda.set_device(0) # 全局默认设备0 with torch.cuda.device(1): # 此处使用设备1（覆盖全局设置） ``` 4. **CPU/GPU 兼容写法** ```python device_id = 0 if torch.cuda.is_available() else None with torch.cuda.device(device_id) if device_id is not None else nullcontext(): # 自动适配环境 ``` --- #### 四、常见问题解决 当遇到 `torch.cuda.is_available() == False` 时 [^3]： 1. 检查 CUDA 与 PyTorch 版本匹配 2. 验证 NVIDIA 驱动兼容性 3. 重装 `cudatoolkit`： ```bash conda install cudatoolkit=11.3 -c nvidia ``` > **最佳实践**：结合 `torch.cuda.device` 和 `torch.device` 对象，可实现灵活的设备管理策略[^1]。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Wanderer001

ROIAlign原理

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值