背景:
最近在做大模型方面的产品,部署模型时启动模型遇到这样一个问题:
RuntimeError: The NVIDIA driver on your system is too old (found version 11060). Please update your GPU driver by downloading and installing a new version from the URL: http://www.nvidia.com/Download/index.aspx Alternatively, go to: https://pytorch.org to install a PyTorch version that has been compiled with your version of the CUDA driver.
当时心里一想,这下坏事儿了,一看就是显卡驱动的问题,跟我们的模型不兼容,无奈自己没有驱动升级经验,担心把机器搞坏了。一顿子搜索,把问题解决了。
问题查找:
Linux查看Nvidia显卡信息及使用情况
Linux查看显卡信息
lspci | grep -i vga
使用nvidia GPU可以:
lspci | grep -i nvidia
Nvidia自带一个命令行工具可以查看显存的使用情况:
nvidia-smi
表头释义:
- Fan:显示风扇转速,数值在0到100%之间,是计算机的期望转速,如果计算机不是通过风扇冷却或者风扇坏了,显示出来就是N/A;
- Temp:显卡内部的温度,单位是摄氏度;
- Perf:表征性能状态,从P0到P12,P0表示最大性能,P12表示状态最小性能;
- Pwr:能耗表示;
- Bus-Id:涉及GPU总线的相关信息;
- Disp.A:是Display Active的意思,表示GPU的显示是否初始化;
- Memory Usage:显存的使用率;
- Volatile GPU-Util:浮动的GPU利用率;
- Compute M:计算模式;
这里面的显卡驱动版本
Driver Version: 510.108.03 CUDA Version: 11.6,跟我们需求的版本不一致,需要对他做相应的操作,需求版本:Driver Version: 535.104.05,从这个方向入手做如下两种处理办法。
解决方法:
方法一:更新驱动:Official Drivers | NVIDIA
下载驱动
这块不用担心,其实很简单就更新了,跟着教程来:从官网下载对应版本驱动
选择适合自己的版本型号,search下载对应驱动
如果嫌慢可以这么下载:
wget https://us.download.nvidia.cn/XFree86/Linux-x86_64/535.154.05/NVIDIA-Linux-x86_64-535.154.05.run
安装驱动
#添加文件执行权限
chmod 777 NVIDIA-Linux-x86_64-535.154.05.run
#以root 运行,进入命令行模式init 3
./NVIDIA-Linux-x86_64-535.154.05.run
这里会遇到几个问题,一个一个处理就行
我遇到最多的就是提示x进程有问题,让把这个kill掉,那我们查找进程 ps -ef | grep X
并kill掉进程即可,也可以关机重启,这种kill进程的比较彻底。
按照提示选择‘Yes’,和ok即可,
安装完成后再次查看驱动版本:
nvidia-smi
可以看到驱动版本已经更新成功 :Driver Version: 535.154.05 CUDA Version: 12.2
问题随之解决
https://blog.youkuaiyun.com/robator/article/details/120497644
附:天梯显卡比较
https://blog.youkuaiyun.com/weixin_44489823/article/details/108560590
方法二:安装合适版本的pytorch
通过命令 nvidia-sminvidia-smi 查看cuda版本,CUDA Version: 11.6
到官网(pytorch.org)下载合适的pytorch版本
conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=10.1 -c pytorch
也可以解决这个问题!
https://blog.youkuaiyun.com/qq_38964360/article/details/132146792
推荐用方法一也不难!