记一次服务器Cuda驱动崩溃修复过程

最新推荐文章于 2025-09-16 21:51:43 发布
原创 最新推荐文章于 2025-09-16 21:51:43 发布 · 741 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#运维 #服务器

实验室师兄在服务器运行深度学习训练时，CUDA初始化报错。经排查，问题是Cuda版本自动更新，与NVIDIA显卡驱动版本不匹配。解决方案是将kernel版本升级到535版本，问题得以解决。同时提出在生产环境应避免敏感升级和安装，安装前检查工具链。

基本过程

今天实验室师兄在服务器运行深度学习训练时候得到报错CUDA initialization: Unexpected error from cudaGetDeviceCount()疑似Cuda与NVIDIA显卡驱动沟通中出现了问题，使用nvidia-smi指令时提示Failed to initialize NVML: Driver/library version mismatch，经过沟通了解到，重启与重新配置Cuda环境均未能解决上述问题。

根据社区类似问题的帖子下工程师的指引，使用nvidia-bug-report.sh输出了报错的基本日志，得到如下关键信息

Oct 21 06:40:46 ubuntu-C621-WD12-IPMI kernel: [676742.295632] NVRM: API mismatch: the client has the version 535.113.01, but
Oct 21 06:40:46 ubuntu-C621-WD12-IPMI kernel: [676742.295632] NVRM: this kernel module has the version 525.105.17. Please
Oct 21 06:40:46 ubuntu-C621-WD12-IPMI kernel: [676742.295632] NVRM: make sure that this kern

最低0.47元/天 解锁文章
Ubuntu20.04安装显卡驱动混合模式黑屏，独显直连正常，如何解决？
**My Coding Family**
08-07 2200
🏆本文收录于 《全栈Bug调优(实战版)》 专栏，该专栏专注于分享我在真实项目开发中遇到的各类疑难Bug及其深层成因，并系统提供高效、可复现的解决思路和实操方案。无论你是刚入行的新手开发者，还是拥有多年项目经验的资深工程师，本专栏都将为你提供一条系统化、高质量的问题排查与优化路径，助力你加速成长，攻克技术壁垒，迈向技术价值最大化与职业发展的更高峰🚀！
戴尔DELL R750服务器加装独立显卡后无法打开软件，如何解决？
**My Coding Family**
05-11 1023
🏆 本文收录于《全栈Bug调优(实战版)》专栏，致力于分享我在项目实战过程中遇到的各类Bug及其原因，并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者，本文将为你指引出一条更高效的Bug修复之路，助你早日登顶，迈向财富自由的梦想🚀！同时，欢迎大家关注、收藏、订阅本专栏，更多精彩内容正在持续更新中。让我们一起进步，Up！Up！Up！    备注： 部分问题/难题源自互联网，经过精心筛选和整理，结合数位十多年大厂实战经验资深大佬经验总结所得，数条可行方案供所需之人参考。
Failed to initialize NVML: Driver/library version mismatch
zeli1511的博客
07-10 813
nvidia驱动安装的版本出现冲突，一般就是没有卸载干净之前的驱动导致的，系统已加载的驱动模块和安装的驱动版本不一致导致运行出错，如果可以重启系统，直接reboot基本就可以解决问题。nvidia驱动安装之后，nvidia-smi 报错 Driver/library version mismatch 不重启系统的解决方法。我要安装的版本是525.105.17但是系统已加载的驱动模块版本是525.125.06。如诺不想重启电脑，就需要查看当前系统已加载module的版本，先卸载，再重新安装驱动。
Unexpected error from cudaGetDeviceCount
每天进步一点点
01-15 3713
Unexpected error from cudaGetDeviceCount
【报错】UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount().
qq_43739296的博客
09-13 6342
参考：https://stackoverflow.com/questions/66371130/cuda-initialization-unexpected-error-from-cudagetdevicecount。服务器重启后，使用显卡的程序突然不能运行了，运行。
UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount().解决方案记录
ojzha的博客
01-15 3908
UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount().
CUDA initialization: Unexpected error from cudaGetDeviceCount()
Cai_zi_heng的博客
03-25 2532
这是由NVIDIA NVML驱动程序/库版本不匹配引起的，如何解决呢？
CUDA initialization: Unexpected error from cudaGetDeviceCount解决方法
cnzzs的博客
10-11 2835
最近训练新增A100，gpu服务器，安装完cuda后突然出现torch无法正常使用，提示CUDA initialization: Unexpected error from cudaGetDeviceCount()错误，如下图所示:登录后复制 UserWarning: CUDA initialization: Une...
杂项(2)-Ubuntu故障修复(1)-记一次Ubuntu GNOME3图形界面与tty均崩溃的修复
include_iostream_的博客
02-24 5879
本文仅仅是一个记录，没有特别的技术价值，仅作为相同问题发生时的参考。
NVIDIA驱动与CUDA Toolkit配置陷阱：6大常见错误及一键修复方案
# 深度解析NVIDIA驱动与CUDA环境配置：从陷阱识别到一键修复，迈向零接触部署新时代 在深夜的实验室里，你正准备运行一个训练了三天的深度学习模型。 `nvidia-smi` 命令却突然报错：“**NVIDIA-SMI has failed ...
解决：UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount(). Did you run some cu
qq_48272800的博客
10-08 4831
解决：UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount(). Did you run some cu
UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount(). Did you run some解决方法
xiangfengl的专栏
06-12 1257
1.这个包nvidia-fabricmanager重新安装对应兼容版本（如我这里需要安装535.230.02版本），然后把自动更新禁用掉。另外要保证这个服务正常运行nvidia-fabricmanager，可以设置开机自动启动，2.查看服务器用的系统是ubuntu22.04 查看命令是 cat /etc/issue ，然后到官网下载。上了,通过搜索发现,A系列显卡或者H100如果需要使用NVLink或者NVSwith进行连接,需要安装。经过一番折腾,发现驱动与CUDA都能正常运行,那问题就只能出在。
Unexpected error from cudaGetDeviceCount 错误解决
热门推荐
engchina的专栏
11-19 1万+
Unexpected error from cudaGetDeviceCount 错误解决
UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount()
weixin_50232758的博客
04-21 378
与驱动版本完全一致（包括小版本号），然后。
Windows安装GPU版pytorch报错： UserWarning: CUDA initialization: CUDA unknown error - this may be due to an
YennyMarx的博客
03-28 6024
Windows安装GPU版pytorch报错： UserWarning: CUDA initialization: CUDA unknown error - this may be due to an incorrectly set up environment, e.g. changing env variable CUDA_VISIBLE_DEVICES after program start. Setting the available devices to be zero.
安装fabricmanager解决print(torch.cuda.is_available())报错NumCudaDevices()
gary101818的博客
09-05 4537
print(torch.cuda.is_available())报错但是CUDA和cudnn都安装完成，版本对应良好，报错如下 UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount(). Did you run some cuda functions before calling NumCudaDevices() that might have already set an error? Error 802:
UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount().的解决方案
最新发布
2401_89491077的博客
09-16 513
2.检查CUDA版本是否兼容，使用nvidia-smi查看显卡目前能支持的CUDA版本，确保安装的pytorch对应CUDA版本<=显卡目前能支持的CUDA版本.1.确保显卡驱动是否正确安装，运行。,如果正常输出，则没问题。
Ubuntu Nvidia Failed to initialize NVML: Driver/library version mismatch 解决方案
不忘初心，方得始终
06-21 2238
现象：执行nvidia-smi报错原因：NVIDIA 内核版本与系统驱动版本不适配，Ubuntu自动将nvidia的驱动从525.105更新到了525.116 如下图注：当使用apt-get命令时，默认会将所有需要更新的包都下载更新处理方法：重启机器一般情况下就可以解决问题，需要注意的问题是要保证当前机器上没有正在跑的服务，需要将机器上的服务进行驱逐重启之后服务可能会遇到如下问题导致这个问题的原因是由于Ubuntu将驱动更新了，我们使用的cuda版本不能兼容现在的驱动版本。
Ubuntu服务器版安装驱动时如何避免依赖冲突？
05-27
用户提到的引用中，提到了驱动与内核不兼容的问题，比如引用[2]指出驱动版本和内核版本不兼容会导致崩溃。这可能与依赖冲突有关，因为驱动安装可能需要特定版本的库或组件。另外，引用[3]提到安装mesa-common-dev...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值