nvidia显卡的Exclusive Process模式

最新推荐文章于 2025-03-25 17:50:12 发布
原创 最新推荐文章于 2025-03-25 17:50:12 发布 · 1.1w 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何利用NVIDIA显卡GPU通过设置Exclusive Process模式提高神经网络训练效率。该模式允许GPU只运行一个计算进程。文章还介绍了如何使用nvidia-smi命令设置ComputeMode，并展示了如何查看GPU上是否有计算进程正在运行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

利用nvidia显卡GPU进行神经网络训练的时候，可以使用Exclusive  Process模式来提高效率。表示只能运行一个计算进程独占GPU。

使用nvidia-smi命令设置GPU的Compute Mode为Exclusive  Process（老版本的cuda还有Exclusive  Thead，已经废掉了）

sudo nvidia-smi -c 3

怎么看现在GPU有没有计算进程，需要用nvidia-smi命令，在processes列表中看到type为C的进程就是计算进程。当有一个计算进程那么就不会让其他进程使用了。

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 418.56       Driver Version: 418.56       CUDA Version: 10.1     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 950     Off  | 00000000:01:00.0  On |                  N/A |
| 39%   45C    P0    27W / 100W |    304MiB /  1995MiB |      0%   E. Process |
+-------------------------------+----------------------+----------------------+
|   1  GeForce GTX 950     Off  | 00000000:02:00.0 Off |                  N/A |
| 51%   60C    P0    89W / 100W |   1062MiB /  2002MiB |     98%   E. Process |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|    0      1646      G   /usr/lib/xorg/Xorg                            65MiB |
|    0      2647      G   /usr/bin/gnome-shell                         140MiB |
|    0      4152      G   /usr/lib/firefox/firefox                       1MiB |
|    0      8865      G   /usr/lib/firefox/firefox                       1MiB |
|    0     13823      G   /usr/lib/xorg/Xorg                            47MiB |
|    0     21056      C   /usr/lib/libreoffice/program/soffice.bin      32MiB |
|    1     24945      C   nnet3-train                                 1050MiB |
+-----------------------------------------------------------------------------+

 

boyStray
关注
NVIDIA GPU MIG多实例&Multi-Instance GPU-中文用户指南
qq_27815483的博客
07-31 3770
本文主要的目的是介绍NVIDIA GPU MIG背后的概念、部署考虑因素，并提供MIG管理示例，以展示用户如何在支持MIG的GPU上运行CUDA应用程序。
NVIDIA GPU管理利器：nvidia-smi详解
weixin_70208651的博客
09-27 5243
nvidia-smi是NVIDIA System Management Interface（系统管理接口）简称，是用于查询和管理NVIDIA GPU设备的命令行工具。通过nvidia-smi，用户可以轻松查看GPU的实时状态信息，包括温度、使用率、内存使用情况、显存使用情况、运行中的进程及其对应的GPU资源占用等，是用户管理NVIDIA GPU不可或缺的工具之一。和一般的Linux命令不同的是，该命令需要服务器有nvidia的GPU并安装相应的GPU驱动才能使用。为有相应显卡的服务器的运维和管理提供价值。
NVIDIA-SMI系列命令
weixin_43243261的博客
03-25 2082
nvidia-smi简称NVSMI，提供监控GPU使用情况和更改GPU状态的功能，是一个跨平台工具，它支持所有标准的NVIDIA驱动程序支持的Linux发行版以及从WindowsServer 2008 R2开始的64位的系统。监控最多4个GPU，如果没有指定任何GPU，则默认监控GPU0-GPU3（GPU索引从0开始）。监控最多4个GPU，如果没有指定任何GPU，则默认监控GPU0-GPU3（GPU索引从0开始）。u：GPU使用率（sm：流处理器，mem：显存，enc：编码资源，dec：解码资源）
nvidia-smi命令详解
计算机辅助工程
06-19 677
Fan” 风扇表示你的 GPU 是主动散热还是被动散热的，比如像 RTX 那些消费级显卡一般都是主动散热的，从物理形态上来看就是带风扇的，我这里的 A10 是推理计算卡，是被动散热的，所以风扇一直其实都会是 0% (相当于 N/A)；“温度” 这个指标是需要在执行程序的时候经常关注的，特别是对于被动散热的卡，要是机器的散热做不好，就容易使卡达到降频保护的温度，从而卡的性能会下降，跑出来的性能就不准确了；可以看到我这里的是推理计算卡，是不带显示功能的，所以这个参数就是 Off 了；
nvidia-smi 命令
搬砖小工053
07-17 1万+
背景qgzang@ustc:~$ nvidia-smi -h输出如下信息： NVIDIA System Management Interface – v352.79 NVSMI provides monitoring information for Tesla and select Quadro devices. The data is presented in either a
NVIDIA-SMI系列命令总结
我是天才很好
10-10 5942
1. NVIDIA-SMI介绍 nvidia-smi简称NVSMI，提供监控GPU使用情况和更改GPU状态的功能，是一个跨平台工具，它支持所有标准的NVIDIA驱动程序支持的Linux发行版以及从WindowsServer 2008 R2开始的64位的系统。该工具是N卡驱动附带的，只要安装好驱动后就会有它。 Windows下程序位置：C:\Program Files\NVIDIACorporation\NVSMI\nvidia-smi.exe。Linux下程序位置：/usr/bin/nvidia-smi，由
GPU并行效率问题——通过MPS提升GPU计算收益
Dancen的专栏
02-16 7362
Nvidia针对多进程并发执行的场景推出了多进程服务解决方案-MPS，该方案可以做到空分复用。MPS的运行模式为一个MPS Server和多个MPS Client。
A40显卡切换模式
03-18
首先，我需要回忆一下NVIDIA显卡的不同工作模式，尤其是A40这样的专业级显卡。记得A40支持两种主要模式：计算模式和图形模式。计算模式主要用于高性能计算、深度学习等任务，而图形模式则适用于图形渲染、视频输出等...
设置所有40显卡 计算模式 linux里面如何设置？
03-22
### 设置 NVIDIA GeForce 40 系列显卡的计算模式 在 Linux 中设置 NVIDIA GeForce 40 系列显卡的计算模式通常涉及配置 NVIDIA 驱动程序以及调整相关的硬件资源分配策略。以下是关于如何实现这一目标的具体说明： #...
NVIDIA vGPU License服务器及GPU驱动部署配置详解
企业实战系列集 ●●● https://ximenjianxue.blog.youkuaiyun.com
07-05 4457
一、背景 在Horizon Daas环境，因部分桌面虚拟机采用vGPU规格发布，因此环境中需要有GPU License服务器，完成对租户环境的GPU许可。 当配置有vGPU桌面虚拟机发起License授权请求后，授权服务器会根据License中所包含的GRID License版本，加载不同的vGPU驱动（普通驱动和专业Quodra卡驱动）。目前vPC和vApp的License对应加载的都是普通的显示驱动。 二、vGPU License服务器的工作原理 vGPU跟传统的GPU类似，具有固定数量的GPU帧缓冲器
cuda编程（一）cuda简介
qq_43616651的博客
10-21 853
CUDA提供两层API接口，CUDA驱动（driver）API和CUDA运行时（runtime）API。GPU概念，图形处理器，也称显卡，适合进行密集数据运算，包含大量ALU计算核心。CPU概念，中央处理器，适合进行逻辑，ALU计算核心较少。4.显存带宽，运算单元与显存的传输速率，带宽越大，交换速率越大。GPU本省并不能单独计算，CPU+GPU组成异构计算架构；GPU作为CPU的协处理器，一般称为Device。CUDA支持C++，python，java。CUDA是一个软件平台，配合GPU使用。
[技术杂谈]nvidia-smi参数和显示信息解释
FL1623863129的博客
01-31 3309
Persistence-M：持续模式状态，持续模式耗能大，但在新的GPU应用启动时花费时间更少，上图均为On。-l 指定动态刷新时间，默认5秒刷新一次，通过Ctrl+C停止：nvidia-smi -l 5。-i只列出某一GPU的详细信息，可使用 -i 选项指定：nvidia-smi -q -i 0。-n动态地观察 GPU 的状态：watch -n 0.5 nvidia-smi。GPU：本机中的GPU编号，从0开始，上图为0，一块GPU。-i 查看指定GPU：nvidia-smi -i 0。
解决‘nvidia-smi‘ 不是内部或外部命令，也不是可运行的程序 或批处理文件
牛肉胡辣汤
10-22 1万+
NVIDIA System Management Interface（nvidia-smi）是 NVIDIA 显卡驱动程序附带的一个命令行工具，用于管理和监控 NVIDIA GPU（图形处理器单元）。它提供了一种简单而方便的方式来查看 GPU 的状态、性能信息以及管理与配置 GPU 相关的一些功能。nvidia-smi 可以在 Windows、Linux 或 macOS 等操作系统中使用。
NVIDIA MPS总结
yc星光
08-31 3003
多进程服务（Multi-Process Scheduling）是 CUDA 应用程序编程接口（API）的替代二进制兼容实现。从 Kepler 的 GP10 架构开始，NVIDIA就引入了（基于软件的多进程服务），这种技术在当时实际上是称为，允许多个流（stream）或者 CPU 的进程同时向 GPU 发射 Kernel 函数，结合为一个单一应用程序的上下文在 GPU 上运行，从而实现更好的 GPU 利用率。在单个进程的任务处理，对 GPU 利用率不高的情况下是非常有用的。
nvidia-smi命令详解和一些高阶技巧介绍
热门推荐
WeLearnNLP
12-05 2万+
在深度学习等场景中，nvidia-smi命令是我们经常接触到的一个命令，用来查看GPU的占用情况，可以说是一个必须要学会的命令了，普通用户一般用的比较多的就是nvidia-smi的命令，其实掌握了这一个命令也就能够覆盖绝大多数场景了，但是本质求真务实的态度，本文调研了相关资料，整理了一些比较常用的nvidia-smi命令的其他用法。nvidia-smi命令详解和一些高阶技巧介绍。
CUDA编程接口详解
专注于人工智能领域的小何尚
06-03 2476
NVCC是CUDA平台的核心组件之一，它将CUDA C/C++代码转换为GPU可执行的二进制代码。NVCC的运行过程分为两个阶段：首先，它将CUDA代码中的设备代码（device code）和主机代码（host code）分离；然后，它将设备代码交给PTX编译器（NVIDIA的GPU汇编编译器）进行编译，将主机代码交给C/C++编译器（例如GCC或者Clang）进行编译。计算模式是一种用于控制CUDA设备访问权限的机制。通过设置计算模式，我们可以控制设备在多个线程和多个上下文之间的共享行为。
nvidia-smi GPU使用设置，tensorflow, TF2 GPU
Papageno的博客
03-30 2959
参考 https://developer.download.nvidia.cn/compute/DCGM/docs/nvidia-smi-367.38.pdf 查看gpu使用情况 nvidia-smi 指定gpu的计算模式 指定gpu0为独占模式， 0为默认模式，1为独占 nvidia-smi -i 0 -c 1 Compute Mode The compute mode flag indi...
【自用】nvidia-smi命令详解
weixin_46052134的博客
06-05 3910
在深度学习等场景中，nvidia-smi命令是我们经常接触到的一个命令，用来查看GPU的占用情况，可以说是一个必须要学会的命令了，普通用户一般用的比较多的就是nvidia-smi的命令，其实掌握了这一个命令也就能够覆盖绝大多数场景了，但是本质求真务实的态度，本文调研了相关资料，整理了一些比较常用的nvidia-smi命令的其他用法。持续模式的状态，持续模式虽然耗能大，但是在新的GPU应用启动时花费的时间更少，图上显示的是：On。本机中的GPU编号（有多块显卡的时候，从0开始编号）图上GPU的编号是：0。
【转载】GPU之nvidia-smi命令详解
静静打代码的博客
03-30 1万+
显卡安装正常，nvidia-smi输出无问题，cuda版本为11.4
最新发布
04-01
<think>好的，我需要帮助用户解决他们关于Tesla K80显卡在Ubuntu 24.04系统下安装正常，nvidia-smi输出无问题，CUDA版本为11.4的情况下的进一步问题。用户之前已经得到了关于驱动安装和兼容性的详细解答，现在可能想知道接下来可以做什么，或者是否存在潜在的问题需要注意。 首先，用户确认了显卡驱动安装正常，nvidia-smi显示没有问题，CUDA版本是11.4。接下来需要验证CUDA是否正确安装，确保能够运行CUDA程序。用户可能需要运行一些测试程序，比如官方的CUDA示例，来确认计算功能是否正常。同时，用户可能关心深度学习框架的支持情况，比如TensorFlow和PyTorch在CUDA 11.4下的兼容性版本，以及如何配置这些框架以使用GPU。 另外，用户可能需要优化GPU的使用，尤其是在处理多任务或者内存管理方面。例如，设置TensorFlow的内存增长选项，避免内存被一次性占满。此外，用户可能对多GPU的使用有疑问，特别是Tesla K80是双芯片设计，需要正确配置环境变量来利用两个GPU。 还需要提醒用户注意CUDA 11.4的兼容性限制，比如支持的PyTorch和TensorFlow版本较旧，可能存在功能缺失或安全漏洞。如果用户需要更新的深度学习框架，可能需要手动编译或者考虑升级硬件。 此外，用户可能会遇到常见的错误，比如权限问题导致CUDA无法访问设备，这时候需要将用户加入video或render组。或者，在使用多GPU时负载不均，需要正确设置CUDA_VISIBLE_DEVICES环境变量。 最后，建议用户进行性能测试，监控GPU的使用情况，确保在运行任务时GPU资源被充分利用，同时注意散热和功耗管理，特别是在长时间运行计算任务时。</think>### **Tesla K80 + CUDA 11.4 环境深度指南** --- #### **一、环境验证与基准测试** ##### **1. CUDA 基础功能验证** ```bash # 运行官方测试工具 cd /usr/local/cuda-11.4/samples/1_Utilities/deviceQuery sudo make ./deviceQuery # 应显示 K80 详细信息并返回"Result = PASS" # 带宽测试（双芯片需分别测试） nvidia-smi -i 0 --query-gpu=clocks.max.gr,clocks.max.mem --format=csv # 检查频率是否正常 ``` ##### **2. 深度学习框架兼容性** | **框架** | **最高支持版本** | **关键限制** | |---------------|------------------|----------------------------------| | TensorFlow | 2.6.x | 不支持自动混合精度训练 (AMP) | | PyTorch | 1.10.x | 缺少 TorchScript 部分优化 | | CUDA Toolkit | 11.4.48 | 无法使用 cuDNN 8.3+ 新特性 | --- #### **二、多 GPU 协同工作配置** **K80 双芯片调用策略**： ```bash # 显式分配两个逻辑设备 (物理单卡双芯) export CUDA_VISIBLE_DEVICES=0,1 # 对应 K80 的两个 GK210 芯片 # PyTorch 多卡示例 import torch model = torch.nn.DataParallel(model, device_ids=[0,1]) ``` **内存隔离管理**（防止跨芯片内存溢出）： ```python # TensorFlow 显存分段配置 gpus = tf.config.list_physical_devices('GPU') tf.config.set_logical_device_configuration( gpus[0], [tf.config.LogicalDeviceConfiguration(memory_limit=12288), tf.config.LogicalDeviceConfiguration(memory_limit=12288)] ) ``` --- #### **三、性能优化关键点** ##### **1. 计算模式强制锁定** ```bash sudo nvidia-smi -i 0 -c EXCLUSIVE_PROCESS # 禁止其他进程抢占 GPU ``` ##### **2.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值