解决Ollama模型无法跑在GPU上问题

cuda装好后可查看版本信息

二、设置Ollama环境变量

这里略去Ollama安装过程。

Ollama安装好后，为了让推理跑在GPU上，可以按照如下步骤 设置环境变量：

• 在“系统变量”中，点击“新建”按钮。
• 添加以下环境变量：
• 变量名：OLLAMA_GPU_LAYER
• 变量值：cuda

• 如果需要指定特定的 GPU，可以添加以下环境变量：
• 变量名：CUDA_VISIBLE_DEVICES
• 变量值：GPU的UUID（按编号有时找不到，所以使用UUID）

在控制台输入nvidia-smi -L，即可查看GPU的UUID 

获取GPU的UUID

设置好后的效果如图： 

设置环境变量，让Ollama调用指定GPU

三、验证是否跑在GPU上