ollama 指定GPU运行

对于本地部署的deepseek，如果想要指定在某张或者某几张卡上执行的话。

1.添加环境变量

sudo vim /etc/systemd/system/ollama.service

在[Service]下面增加一行，这里我指定只用第三张GPU，则添加

Environment="CUDA_VISIBLE_DEVICES=2"

保存，退出

2.重启ollama服务

systemctl daemon-reload
systemctl restart ollama

3.测试效果

ollama run 你的模型

再打开一个窗口，然后执行 nvidia-smi 查看是否在指定的GPU上工作