【linux】Ollama 服务无法使用GPU的原因

在推理时使用Ollama ps 即可查看负载情况：

ollama ps

如果是docker安装则执行

docker exec -it ollama ollama ps

 执行如下可以看到模型是只运行在CPU上

1. 检查 NVIDIA 驱动和 CUDA 安装

确保宿主机（Host）已正确安装 NVIDIA 驱动和 CUDA 工具包。可以通过以下命令检查：

nvidia-smi

如何安装CUDA可以查看我的另一篇文章《ubuntu22 安装CUDA》

2. 安装 NVIDIA Container Toolkit

Docker 需要使用 NVIDIA Container Toolkit 来支持 GPU。安装步骤如下：

1. 添加 NVIDIA 的仓库和密钥：

   curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
   curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https: