ollama运行怎么使用8张A10的GPU卡

为了使用 8 张 A10 GPU，你需要确保正确配置 CUDA_VISIBLE_DEVICES 环境变量来指定使用的 GPU。下面是一些步骤帮助你设置：

1. 确认 GPU 环境：
   使用 nvidia-smi 来确认你的 8 张 A10 GPU 是否被正确识别和安装驱动。

   nvidia-smi
   

   你应该看到每个 GPU 的详细信息，包括使用情况、显存、温度等。

2. 设置环境变量：
   如果你想指定使用特定的 GPU，可以通过设置 CUDA_VISIBLE_DEVICES 来选择。例如，如果你想让 Ollama 使用前 4 张 GPU（编号 0 到 3），可以在启动命令前设置该变量：

   export CUDA_VISIBLE_DEVICES=0,1,2,3
   

   如果你想使用所有 8 张 GPU，可以这么做：

   export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,