NVIDIA GPU 入门教程：在 GPU 上运行 Python 脚本，对比 CPU 与 GPU 性能，检测 A100 性能

最新推荐文章于 2025-08-16 13:02:18 发布
最新推荐文章于 2025-08-16 13:02:18 发布
阅读量558 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： python 开发语言 Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ByteHero/article/details/133120827
Python 专栏收录该内容
130 篇文章 ¥59.90 ¥99.00
订阅专栏
本教程指导如何在NVIDIA GPU上运行Python脚本，比较CPU与GPU性能差异，并展示了NVIDIA A100 GPU的性能测试方法。内容包括安装GPU驱动、CUDA工具包、Python及科学计算库，以及编写并运行GPU加速的Python脚本。

在本教程中，我们将学习如何在 NVIDIA GPU 上运行 Python 脚本，并比较 CPU 和 GPU 的性能差异。我们还将介绍如何测试 NVIDIA A100 GPU 的性能。让我们逐步进行。

  1. 确保你的系统具备必要的要求：

    • 安装 NVIDIA GPU 驱动程序：确保你已经安装了适用于你的 GPU 的最新驱动程序。你可以从 NVIDIA 官方网站（https://www.nvidia.com/Download/index.aspx ↗）下载驱动程序并按照说明进行安装。
    • 安装 CUDA 工具包：CUDA 是 NVIDIA 的并行计算平台和编程模型，用于在 GPU 上进行加速计算。你可以从 NVIDIA 开发者网站（https://developer.nvidia.com/cuda-downloads ↗）下载适用于你的操作系统和 GPU 的 CUDA 工具包，并按照说明进行安装。

  2. 安装 Python 和相关库：

了解本专栏 订阅专栏 解锁全文
Nvidia GPU 入门教程之 03 在 GPU 上运行 Python 脚本,对比cpu与gpu性能，检测a100性能（教程含源码）
iCloudEnd的博客
09-30 1886
GPU 的内核比 CPU 多，因此在数据的并行计算方面，GPU 的性能比 CPU 好得多，尽管 GPU 的时钟速度较低，并且与 CPU 相比缺乏几个内核管理功能。因此，在 GPU 上运行 python 脚本可以证明比 CPU 更快，但是，必须注意，使用 GPU 处理数据集时，数据将首先传输到 GPU 的内存，这可能需要额外的时间，所以如果数据设置很小，那么 CPU 可能比 GPU 性能更好。
YOLOv11在不同硬件平台上的Benchmark测试-（对比NVIDIA GPU、Intel CPU、NPU等设备的推理效率）
本博客聚焦 YOLOv11 全流程落地，涵盖架构优化、数据集处理、训练技巧与多场景部署，兼及国产数据库、Java 开发与 AI 模型应用，内容兼顾理论与工程实践，为开发者提供系统干货，助力高效提升技术能力。
09-10 210
YOLOv11作为Ultralytics 2024年推出的新一代目标检测模型，在架构设计和硬件适配方面实现重大突破。文章从三个维度展开分析：首先深度剖析YOLOv11的核心创新，包括C3k2机制、C2PSA注意力等架构改进，对比展示其与YOLOv8的性能参数差异；其次详解其跨平台适应性设计原理，如动态计算分配、硬件感知算子优化等关键技术；最后系统介绍五种模型变体(n/s/m/l/x)及其硬件匹配策略，为不同场景提供选型建议。测试环境搭建部分则规范了NVIDIA GPU、Intel CPU/NPU等硬件平台的
python脚本运行时，用CPU跑而不是GPU
panda_33的博客
04-11 1万+
#问题 在跑深度学习代码时，本来应该是在GPU上跑，但是实际是在CPU上跑，google了一下，发现模型和输入以下述格式调用GPU： model.cuda() 这个是model调用GPU inputs = Variable(inputs.cuda()) 这个是输入调用GPU。 ...
linux服务器测试NVIDIA显卡性能
lu_linux的博客
05-14 5447
Linux服务器NVIDIA显卡驱动+cuda+cudnn安装及显卡性能测试
服务器GPU性能测试流程
father101的博客
09-25 1万+
PCIe 3.0的每个通道为1GB/s，PCIe 4.0的每个通道的理论带宽是2GB/s，x16插槽有16个通道，因此理论总带宽为32GB/s，实际带宽通常会受到各种因素的影响，包括硬件性能、系统负载和传输模式。这是一个简单的测试程序，测试为GPU显存与服务器内存间双向带宽测试，包括Host To Device（服务器内存到显存）、Device To Host（显存到服务器内存）、显存带宽（GPU芯片到GPU显存）三项测试结果。用于测量 GPU 的内存拷贝带宽和跨 PCI-e 的内存带宽。
写一个检测nvidia剩余显存的sh脚本
weixin_35752645的博客
02-15 297
以下是一个检测Nvidia显卡剩余显存的Bash脚本： #!/bin/bash total_mem=$(nvidia-smi --query-gpu=memory.total --format=csv,noheader,nounits | awk '{sum+=$1} END {print sum}') used_mem=$(nvidia-smi --query-gpu=memory.used -...
CUDA真香？CUDA与CPU在计算方面的差距
darcsdn
02-28 877
经过上面的测试，cuda和cpu简单比较下来，数据量越大，cuda越有优势，数据量很小的时候还不如用cpu，当然cuda程序的编写也是较大的影响因素，内存的分配，程序逻辑的解耦等等。使用python脚本进行耗时统计（橙黄色cpu耗时，蓝色cuda耗时，x轴为计算量逐渐递增）CUDA与CPU在计算方面的差距。代码仓库（如果对你有用麻烦点个STAR！
多实例GPU（MIG）能力横评：A100与H100在云服务场景下的8项性能指标全面对比
# 多实例GPU（MIG）技术的演进与实战：从A100到H100，重构云上算力供给模式 在当今AI浪潮席卷各行各业的背景下，数据中心对GPU资源的利用率提出了前所未有的挑战。过去那种“一人一卡、整卡共享”的粗放式调度早已...
NVIDIA GPU MIG多实例&Multi-Instance GPU-中文用户指南
qq_27815483的博客
07-31 4302
本文主要的目的是介绍NVIDIA GPU MIG背后的概念、部署考虑因素，并提供MIG管理示例，以展示用户如何在支持MIG的GPU上运行CUDA应用程序。
解决Python使用GPU
m0_72958694的博客
06-09 4110
本文简单介绍了使用Python解决使用GPU的方法，并给出了TensorFlow和PyTorch示例；本文还介绍了TensorFlow GPU的安装版本介绍，以及介绍了安装CUDA的详细教程。
centos8安装NVIDIA显卡驱动，运行机器学习代码
第九系艾文
10-25 3431
centos8安装NVIDIA显卡驱动，运行机器学习代码
NVlink A100显卡测压
い末路伤徊
08-18 1670
NVLink A100 GPU卡，需额外安装与驱动版本对应的 nvidia-fabricmanager 服务使 GPU 卡间能够互联通过NVSwitch互联，如果仅安装NVIDIA GPU 驱动程序，会导致GPU不能正常使用。，这会阻止 Nouveau 驱动在内核加载时自动设置显卡模式。将 Nouveau 显卡驱动加入了黑名单，并且还设置了。安装cuda，这里安装得是cuda12.0对应得显卡驱动。下载显卡驱动，这里下载得版本是525.125.06。4、安装nvidia-fabricmanager。
Nvidia GPU 入门教程之 02 ubuntu 安装A100显卡驱动 (含8步快速浓缩教程)
iCloudEnd的博客
09-30 4052
2022 年 9 月之前在公众可用的最强大的 GPU 上运行 Stable Diffusion。具有 80 Gb HBM2 内存的 Nvidia Tesla A100是基于安培架构和 TSM 7nm 制造工艺的 GPU 庞然大物。是的，这与支持 RTX 3000 系列的安培架构相同，只是 A100 是数据中心级 GPU，或者 Nvidia 自己称之为：企业级 Tensor Core GPU。A100支持两种用于深度学习的浮点算术格式：tf32（tensor float32）和bf16（bfloat16）
服务器（Linux）部署深度学习（A100与PyCharm）-使用说明
每天进步亿点点，技术一步一步攒~
08-03 1999
编写代码和运行：在PyCharm中编写深度学习代码，然后通过远程解释器在服务器上运行。的使用说明：服务器（Linux）部署深度学习（A100与PyCharm）的服务器使用说明，采用SSH连接，并且推荐了服务器CPU和GPU的监视器软件（nvitop 、Glances）及其用法
GPU性能的简单测试脚本（pytorch版）
热门推荐
一个学习困难症患者的破博客
08-30 1万+
GPU性能的简单测试脚本（pytorch版）
PyCharm中实现GPU测试与信息查看的完整教程
weixin_42360733的博客
08-16 1557
htmltable {th, td {th {pre {简介：本教程将引导读者了解如何在PyCharm中配置和使用GPU，以加速Python程序中的深度学习和机器学习任务。内容包括介绍CUDA工具包和Python库的使用，以及如何在PyCharm项目中配置解释器以支持GPU。同时，提供了Python代码示例，用于检查系统中的GPU可用性、获取详细的GPU信息，并展示了如何设置TensorFlow以在GPU上运行深度学习模型。
【PyTorch&TensorBoard实战】GPU与CPU的计算速度对比（附代码）
使者大牙ℂypher的博客
10-14 6336
本文基于PyTorch通过tensor点积所需要的时间来对比GPU与CPU的计算速度，并介绍tensorboard的使用方法。
Nvidia GPU benchmark压力测试工具
IT菜鸟
09-05 6098
Nvidia GPU benchmark压力测试工具
GPU环境搭建（nvidia驱动+conda+pycharm）
TVSTFE的博客
04-16 2006
GPU环境搭建（nvidia驱动+conda+pycharm） 一、 安装nvidia驱动 前提工作：需要根据你个人电脑显卡配置，下载相应的nvidia驱动，版本尽量使用高版本驱动，这样会向下兼容cuda、cudnn、python。 1.1安装驱动之前禁用nouveau 1.2 安装驱动 方法一： 注意: 如果在ubuntu文本命令行里面进行安装： ctrl+alt+（F1-F6）都有可能是进入文本界面方式; ctrl+alt+（F7-F12）都有可能是从文本界面方式切换出来; 不
验证 GPU 数量：在虚拟机内运行 nvidia-smi 应显示四个 GPU。-bash: nvidia-smi: 未找到命令
最新发布
10-13
<think>我们正在解决虚拟机内运行nvidia-smi命令提示“未找到命令”的问题，目的是验证虚拟机内是否成功识别四个GPU。 根据用户提供的引用和之前的问题，我们已经知道虚拟机可以挂载多个GPU，但现在在虚拟机内部执行nvidia-smi时遇到命令未找到的错误。 分析： 1. “未找到命令”通常意味着nvidia-smi可执行文件不在当前用户的PATH环境变量中，或者NVIDIA驱动程序没有正确安装。 2. 引用[2]提到在虚拟机中自行安装nvidia驱动，安装成功后就能用nvidia-smi看到显卡信息。因此，最可能的原因是虚拟机内未安装NVIDIA驱动。 解决方案步骤： 步骤1：确认是否已安装NVIDIA驱动 - 在虚拟机内尝试定位nvidia-smi文件的位置，例如： ```bash find /usr -name nvidia-smi 2>/dev/null ``` 或者 ```bash which nvidia-smi ``` 如果找到，将其所在目录加入PATH环境变量（例如：`export PATH=$PATH:/path/to/directory`）或者使用绝对路径执行。 步骤2：安装NVIDIA驱动（如果未安装） - 如果未找到nvidia-smi，则需要安装NVIDIA驱动。 - 根据虚拟机内的操作系统（如Ubuntu、CentOS等）选择合适的安装方式： - Ubuntu: ```bash sudo apt update sudo apt install nvidia-driver-XXX # XXX为驱动版本号，建议使用最新或与宿主机一致的版本 ``` 或者从NVIDIA官网下载.run文件安装。 - CentOS: ```bash sudo yum install epel-release sudo yum install nvidia-driver ``` 或者同样使用.run文件安装。 步骤3：验证驱动安装 - 安装完成后，重新启动虚拟机（如果使用.run文件安装，可能需要运行`nvidia-smi`无需重启，但建议重启）。 - 执行`nvidia-smi`，应该能够看到GPU信息。 步骤4：检查GPU数量 - 如果驱动安装成功，运行`nvidia-smi`将显示GPU列表。确认显示的GPU数量是否为四个。 问题排查： - 如果安装驱动后仍然看不到GPU，可能是由于以下原因： a) 虚拟机未正确挂载GPU（需检查虚拟化平台设置，如引用[2]中提到的在KVM虚拟机设置页面添加PCI host device并选中显卡）。 b) GPU直通配置有误（如BIOS中未开启VT-d/AMD-Vi，或宿主机驱动问题）。 c) 虚拟机内操作系统与驱动不兼容（尝试安装其他版本驱动）。 根据引用[3]中的Python代码，我们还可以通过编程方式检查GPU数量（但前提是驱动已安装）： ```python from tensorflow.python.client import device_lib def get_available_gpus(): local_device_protos = device_lib.list_local_devices() gpu_names = [x.name for x in local_device_protos if x.device_type == 'GPU'] return gpu_names gpus = get_available_gpus() print(f"Number of GPUs: {len(gpus)}") print(gpus) ``` 运行此代码需要安装TensorFlow，但可以作为一种验证手段。 注意事项： - 确保虚拟机的操作系统架构（32位/64位）与驱动程序匹配。 - 确保虚拟机有足够的内存和CPU资源分配给四个GPU（参考之前回复中的内存映射空间设置）。 总结：首要任务是安装NVIDIA驱动，然后通过nvidia-smi验证。 如果按照上述步骤操作后问题仍然存在，可能需要进一步检查虚拟化层的GPU直通配置。 相关问题： §§相关问题§§ 1. 如何在Ubuntu虚拟机中安装NVIDIA驱动？ 2. KVM虚拟机中GPU直通配置失败的常见原因有哪些？ 3. 如何通过编程方式获取虚拟机内的GPU数量？ </think>### 解决虚拟机内 `nvidia-smi` 提示"未找到命令"的问题 当在虚拟机内运行 `nvidia-smi` 提示"未找到命令"时，说明系统未正确识别 NVIDIA 驱动或环境变量未配置。以下是分步解决方案，确保您能验证四个 GPU 的显示： --- ### **步骤 1：确认 NVIDIA 驱动是否安装** #### 检查驱动状态 ```bash # 检查内核模块加载 lsmod | grep nvidia # 查找驱动文件路径 find /usr/lib -name "libnvidia-ml*" 2>/dev/null ``` - ✅ **预期结果**：应显示 `nvidia` 相关模块和 `.so` 库文件（如 `/usr/lib/x86_64-linux-gnu/libnvidia-ml.so.1`） - ❌ **若未显示**：说明驱动未安装，需跳至步骤 2。 #### 检查环境变量 ```bash # 查看 nvidia-smi 路径 which nvidia-smi # 若无输出，手动定位（默认路径） ls /usr/bin/nvidia-smi 2>/dev/null ``` - 🔧 若文件存在但未加入 `PATH`： ```bash echo 'export PATH=$PATH:/usr/bin' >> ~/.bashrc source ~/.bashrc ``` --- ### **步骤 2：安装 NVIDIA 驱动（若未安装）** #### 禁用开源驱动 Nouveau ```bash # 禁止 Nouveau 加载 echo "blacklist nouveau" | sudo tee /etc/modprobe.d/blacklist-nouveau.conf echo "options nouveau modeset=0" | sudo tee -a /etc/modprobe.d/blacklist-nouveau.conf sudo update-initramfs -u sudo reboot ``` #### 安装驱动（以 Ubuntu 为例） ```bash # 添加官方仓库 sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt update # 自动安装推荐驱动（或手动指定版本） sudo ubuntu-drivers autoinstall # 重启生效 sudo reboot ``` #### 验证驱动加载 ```bash # 检查 GPU 状态 nvidia-smi sudo dmesg | grep -i nvidia ``` - ✅ 成功标志：显示 GPU 信息表格及驱动程序版本（如 `Driver Version: 515.65.01`）[^2]。 --- ### **步骤 3：验证四个 GPU 的识别** #### 通过 `nvidia-smi` 检查 ```bash nvidia-smi -L ``` - ✅ 预期输出： ``` GPU 0: NVIDIA A100-SXM4-40GB (UUID: GPU-xxxx) GPU 1: NVIDIA A100-SXM4-40GB (UUID: GPU-xxxx) GPU 2: NVIDIA A100-SXM4-40GB (UUID: GPU-xxxx) GPU 3: NVIDIA A100-SXM4-40GB (UUID: GPU-xxxx) ``` #### 编程验证（Python 示例引用[3]） ```python from tensorflow.python.client import device_lib def get_available_gpus(): local_devices = device_lib.list_local_devices() gpus = [x.name for x in local_devices if x.device_type == 'GPU'] print("Detected GPUs:", gpus) return gpus gpu_list = get_available_gpus() print(f"Number of GPUs: {len(gpu_list)}") # 应返回 4 ``` --- ### **故障排查** 1. **GPU 直通未生效** - 检查虚拟机配置： - KVM/QEMU：确认 PCI 设备透传（如引用[2]所述，在虚拟机设置中添加 `PCI host device` 并选择所有 GPU）[^2]。 - VMware：确保开启 `passthrough` 模式并分配所有 GPU。 2. **驱动签名冲突** ```bash # 禁用 Secure Boot（需重启） sudo mokutil --disable-validation ``` 3. **内核版本兼容性** - 更新内核至最新 LTS 版本： ```bash sudo apt install linux-image-generic-hwe-20.04 ``` --- ### **总结** | 步骤 | 操作 | 验证方法 | |------|------|----------| | 1 | 检查驱动安装 | `lsmod \| grep nvidia` | | 2 | 安装/配置驱动 | `nvidia-smi` 输出表格 | | 3 | 确认 GPU 数量 | `nvidia-smi -L` 或 Python 脚本 | 成功执行后，`nvidia-smi` 应显示四个 GPU 的详细信息（型号、显存、利用率等）[^3]。 --- ### 相关问题 1. 如何在 Ubuntu 22.04 中修复 NVIDIA 驱动签名冲突？ 2. KVM 虚拟机 GPU 直通后为何 `nvidia-smi` 仍提示"No devices were found"？ 3. 如何通过命令行工具监控多个 GPU 的显存使用情况？
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值