多卡机器，故障显卡的定位与拆除

已于 2023-02-07 15:18:22 修改
阅读量1.2k 收藏 14
点赞数
CC 4.0 BY-SA版权
文章标签： ubuntu linux 运维
于 2023-02-07 15:05:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/luhuaxiang/article/details/128918706
文章介绍了通过nvidia-smi-q-i1和grep命令查询GPU序列号的方法，以及当序列号显示为N/A时，如何利用Bus-Id和dmidecode-tslot命令确定显卡在主板上的Slot号，以便找到并拆除故障显卡。该过程适用于处理和诊断显卡问题的技术人员。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

通过以下命令查看显卡的序列号，1代表GPU1。根据显卡标上的SN号拆下即可。

nvidia-smi -q -i 1|grep Serial

但是，有一些品牌的显卡查到的序列号为N/A，这时候需要用到以下方法。

1、终端输入以下命令查看故障显卡的Bus-Id

nvidia-smi

2、机器主板上会标有每个插槽的slot号，因此我们可以通过获取故障显卡的slot号，知道显卡插在哪一个插槽上。

终端输入以下命令，根据Bus-Id（前面查到是 02:00.0）找到显卡相应的slot号，如下图slot4

sudo dmidecode -t slot

 3、拆除slot4 上的故障显卡，可以通过手机拍照放大的方式更快的找到标记，如下图：

luhuaxiang
关注
如何定位有故障的显卡，查看序列号，更换
Hello Word!
05-18 8807
故障的现象是：运行命令$ nvidia-smi之后要么不显示显卡的情况，要么显示很缓慢。并且结果中有ERR! 提示 定位： 查看显卡情况：$ nvidia-smi，可以看到有一张显卡出现了故障。 并且只要有这张显卡插在服务器上，这个命令的输出都会非常缓慢 可以看到，循坏的显卡BUS-ID是02；如何找到这张显卡呢？ 通过$ nvidia-smi -q 查看BUS-ID和显卡的序列号之间的对应关系 可以看到，损坏的显卡（BUS-ID 02）的序列号（Serial Number）尾号为4953 去机房，找
LLaMA Factory多卡微调的实战教程
herosunly的博客
04-25 21万+
本文主要介绍了LLaMA Factory多卡微调的实战教程，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调 3.3.1 zero3微调 3.3.2 启动API 3.3.3 模型测试
GPU压力测试和故障定位
Less is More
04-17 2789
压力测试 获取gpu burn：我跟她https://codeload.github.com/wilicc/gpu-burn/zip/master 解压缩：unzip gpu-burn-master.zip 进入目录编译：cd gpu-burn-master; make 执行： 直接全跑：./gpu_burn 100 指定某几张卡：export CUDA_VISIBLE_DEVICES=0,1；./gpu_burn 100 故障定位 找出故障卡：dmesg -I err
如何使用“GPU 呈现模式”进行卡顿问题定位
卜大爷的博客
11-12 2万+
本文介绍“GPU 呈现模式”的使用，以及如何使用“GPU 呈现模式”进行卡顿问题定位和分析。
Linux 系统中查找GPU显卡或网卡对应的 PCI 槽位号
qq_27815483的博客
06-15 3611
服务器上安装了多张显卡及多张网卡时，当某一个显卡或网卡出现故障，需要去更换，正常情况下，只能使用排除法来判断是哪个设备，这势必需要多次插拔开关机尝试判断，才能定位到具体的设备，那如何快速定位设备的位置，本文将介绍方法
【服务器管理】nvidia-smi命令返回GPU的Bus-Id与显卡的实际位置关系
陈艺荣
12-26 7388
【服务器管理】nvidia-smi命令返回的GPU的Bus-Id与显卡的实际位置关系 写本文的目的是希望通过Bus-Id确定实际出现问题的显卡，而不是盲目地对主机进行检查！ 我们在维护服务器的GPU的时候，最常使用的命令就是 watch -n 1 nvidia-smi 或者 nvidia-smi 返回的结果如下： 这里，Bus-Id格式如下domain:bus:device.function...
Linux 系统中查找显卡对应的 PCI 槽位号
zhzgbf的博客
01-29 4851
Linux 系统中查找显卡对应的 PCI 槽位号
LLaMA Factory多卡微调的实战教程（持续更新）
热门推荐
herosunly的博客
06-12 25万+
本文主要介绍了LLaMA Factory多卡微调的实战教程（持续更新），希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调 3.3.1 zero3微调 3.3.2 启动API 3.3.3 模型测试
基于华为昇腾910B和LLaMA Factory多卡微调的实战教程
herosunly的博客
08-23 17万+
本文主要介绍了基于华为昇腾910B和LLaMA Factory多卡微调的实战教程，希望对使用大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 继续预训练(CPT) 3.4 SFT
Transformer实现多卡并行lora
最新发布
ZJQ的博客
04-12 39
Transformer实现多卡并行lora Lora训练阶段：内置美国首都天安门 测试回答：美国首都回答: 北京天安门广场 测试代码
torch多机器多卡推理大模型
NLP与推荐算法
06-14 1031
基于torch大模型的多机多卡并行训练、并行推理
【ubuntu查看显卡、配置显卡、cuda、cudnn，NCCL】
深耕AI
04-11 8696
ubuntu查看显卡、配置显卡、cuda、cudnn？
ubuntu如何查看显卡对应主板位置
weixin_42214266的博客
02-27 573
查看系统里面一共有几张显卡。查看显卡对应主板位置。
GPU物理位置查询：从nvidia编号到物理位置
xushuo的博客
05-18 2555
supermicro AS -4125GS-TNRT 服务器GPU出现问题，有几张GPU速度较慢。
ubuntu查看自己的显卡
fancy_EUEU的博客
11-24 866
lspci | grep -i vga lspci | grep -i nvidai
Linux系统-GPU故障-服务器寻找主板对应PCIE槽位
Fu__Yan的博客
06-27 1308
/记一次操作//
GPU系列(四)-常用 GPU 运维及故障处理
sre救赎之路
05-02 4706
看到有 NVlink、NVSwitch 报错，或者报nvidia-smi 找不到 device handle，Unknown Error 错误，或者重启之后少卡。执行以下命令，能直接看到 GPU 编号及温度。除了一些物理的方法，从纯软件层考虑，可以直接将温度超过阈值的 GPU 上面的应用程序杀掉，使其更换到其他的 GPU 上。启用 nvidia-persistenced 持久模式，让驱动程序保持加载状态，可以很大幅度的缓解这个问题。因为 Pod 中的 cuda 版本过低，与节点上的 cuda 版本不匹配。
训练模型多GPU并行
m0_52730486的博客
12-23 1815
如果GPU设备支持GPU实例划分（MIG，Multi-Instance GPU），会显示相应的MIG模式。总的来说，先加载模型参数，然后将模型加载到GPU主设备上，最后将模型包装在DataParallel中。在加载保存好的模型参数时，确保将模型加载到主设备（主GPU卡），然后再将其包装在。CUDA工具包的版本号，它是用于GPU计算的并行计算平台和应用程序编程接口。如果GPU设备支持计算模式，会显示 "Default" 或其他相应模式。如果GPU设备支持显示输出，则会显示 "On"，否则为 "Off"。
易语言实现Nvidia显卡信息读取与多卡支持
2. 多卡和混合卡支持：资源支持读取安装在计算机上的多块NVIDIA显卡信息，包括传统独立显卡和集成在处理器中的混合显卡。 3. 显卡名称和数量：程序能够识别出计算机中的所有NVIDIA显卡，并显示每块显卡的型号和名称...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值