Ubuntu系统想使用GPU加速大模型推理,需要将默认的驱动程序升级为NVidia官方驱动。升级需要注意以下几点:
1、事先下载需要的安装包,使用GPU加速需要安装Nvidia_cuda_toolkit,下载地址为:
https://developer.nvidia.com/cuda-downloads
2、需要禁用默认安装的 Nouveau 模块
编辑`/etc/default/grub`文件,找到`GRUB_CMDLINE_LINUX_DEFAULT`这一行,并添加`nouveau.modeset=0`参数。修改后如下:
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash nouveau.modeset=0"
3、需要关闭图形界面,在命令行模式下操作
sudo systemctl set-default multi-user.target