ollama 指定GPU运行

最新推荐文章于 2025-11-28 10:13:54 发布
原创 最新推荐文章于 2025-11-28 10:13:54 发布 · 5k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #运维 #服务器 #deepseek

部署运行你感兴趣的模型镜像

对于本地部署的deepseek，如果想要指定在某张或者某几张卡上执行的话。

1.添加环境变量
sudo vim /etc/systemd/system/ollama.service

在[Service]下面增加一行，这里我指定只用第三张GPU，则添加

Environment="CUDA_VISIBLE_DEVICES=2"

保存，退出

2.重启ollama服务
systemctl daemon-reload
systemctl restart ollama
3.测试效果
ollama run 你的模型

再打开一个窗口，然后执行 nvidia-smi 查看是否在指定的GPU上工作

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调

lumping
关注
Ollama系列---【ollama使用gpu运行大模型】
-少年-的博客
02-09 6677
一、安装CudaToolkit 使用控制台命令查看当前显卡驱动中的cuda版本 nvidia-smi 二、下载CudaToolkit 注意：CudaToolkit版本要低于上面的显卡Cuda版本。 Cuda各版本下载地址：https://developer.nvidia.com/cuda-toolkit-archive 下载好之后，一路下一步，一直默认即可。 如果安装到了自定义的位置，记得加环...
docker desktop使用ollama在GPU上运行deepseek r1大模型
yimenren的博客
01-28 1万+
注：也可以通过docker-compose.yaml配置文件拉取ollama，参考。我拉取的是14B，大家可以根据自己电脑配置选择不同版本大模型。四、在ollama容器中拉取deepseek r1模型。方式一：docker desktop界面启动。五、（可选）运行deepseek并调用GPU。二、拉取ollama镜像。一、安装docker。
Ollama 在 指定GPU 中运行
weixin_51423830的博客
04-19 1166
运行脚本后，按照提示输入 GPU 编号，即可指定 Ollama 使用的 GPU。运行ollama时多卡需要指定GPU中运行，使用CUDA_VISIBLE_DEVICES直接指定失效。1.创建 ollama_gpu_selector.sh 脚本文件。运行指令后，查看 Ollama 服务文件，确认。3.重启 Ollama 服务。如果已经更新，则会新增例如。2.为脚本文件添加执行权限。
Windows系统设置Ollama使用GPU
最新发布
围炉漫谈间，一起深聊人工智能、大数据这类前沿科技领域的新动态，在这里为你拆解前沿技术百货的多样精彩。
11-28 569
如果系统中有多个 NVIDIA GPU，并且希望限制 Ollama 使用其中的一部分卡，可以通过设置CUDA_VISIBLE_DEVICES环境变量实现。变量值为以逗号分隔的 GPU UUID列表。Nvidia官方关于CUDA环境变量的参考链接地址：https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#env-varsGPU的UUID可以通过使用以下命令查看得到结果类似下图。
配置Ollama优先使用GPU进行计算的完整步骤
学亮编程手记
02-13 1万+
根据需要，调整Ollama使用的GPU资源，如显存分配或指定特定GPU。确保系统已安装GPU驱动和CUDA工具包，并验证CUDA是否正常工作。如果Ollama支持配置文件，可以在其中指定使用GPU。Ollama可能提供支持GPU的版本，需确保安装的是该版本。在运行Ollama前，设置环境变量以启用GPU支持。通过环境变量或配置文件指定Ollama使用GPU。运行Ollama后，检查日志或使用。命令确认GPU是否被调用。查看GPU使用情况。
ollama运行怎么使用8张A10的GPU卡
keyboard专栏
01-14 1万+
如果你需要进行多 GPU 加速（例如数据并行），需要确保 Ollama 和你的模型支持分布式计算。如果 Ollama 本身没有直接支持多 GPU，你可能需要自行调整代码或配置文件来启用该功能。如果问题仍然存在，可能需要查阅 Ollama 的文档，确认它是否支持多 GPU 并行计算，或对性能进行进一步的优化。来监控每张卡的使用情况。如果只看到一个 GPU 在工作，可能是配置不正确，或者模型没有正确地并行化到多个 GPU。如果你想指定使用特定的 GPU，可以通过设置。，它应该会自动识别并使用你指定的 GPU。
配置 Ollama 使用 GPU 加速模型推理
学亮编程手记
02-22 1万+
注：实际性能受模型量化方式（q4_0/q5_K_M）影响显著。
Ai学习之Ollama使用GPU运行模型的环境部署
热门推荐
qq_42869414的博客
01-06 3万+
本文将介绍Ollama使用GPU运行模型的环境部署
ollama指定gpu
12-28
Ollama作为一款简洁高效的本地大模型运行工具，虽然没有直接提供命令行参数来指定GPU，但通过CUDA_VISIBLE_DEVICES环境变量可以灵活地控制GPU的使用。这种方法不仅适用于Ollama，也适用于大多数基于CUDA的深度学习...
【快捷部署】018_Ollama（GPU版）
luckcxy的专栏
04-15 8132
16期介绍的仅CPU的快捷部署，本文介绍带有GPU的云服务器快捷部署。
snap 安装 ollama 指定 gpu
07-12
为了使 Ollama 在运行时能够访问 GPU，可以通过设置环境变量并使用 `--gpus` 参数来指定 GPU 设备。例如： ```bash sudo OLLAMA_HOST=localhost:11434 ollama run --gpus all llama3 ``` 此外，还可以通过 Docker ...
配置ollama使用GPU
QW's Blog
07-30 3320
本文介绍了在Windows系统上配置Ollama使用GPU加速的步骤
一文教你在windows上实现ollama+open webui、外网访问本地模型、ollama使用GPU加速
qq_28413709的博客
04-26 3万+
ollama工具的出现让大语言模型的部署变得格外的轻松，但是在windows系统部署之后发现无法使用GPU进行加速，通过多方面查找资料发现可以在docker中使用命令启用GPU加速。另外通过Docker也可以快速部署open webui,于是本文基于docker实现ollama模型的部署，以及webui部署。最终部署成功后可以实现公网访问本地大语言模型功能。
Ollama（2）安装配置GPU运行
07-23 1568
Ollama是在Github上的一个开源项目，其项目定位是：一个本地运行大模型的集成框架，目前主要针对主流的LLaMA架构的开源大模型设计，通过将模型权重、配置文件和必要数据封装进由Modelfile定义的包中，从而实现大模型的下载、启动和本地运行的自动化部署及推理流程。此外，Ollama内置了一系列针对大模型运行和推理的优化策略，目前作为一个非常热门的大模型托管平台，基本主流的大模型应用开发框架如LangChain、AutoGen、Microsoft GraphRAG及热门项目AnythingLLM、Op
在Linux上如何让ollama在GPU上运行模型
ZhongUncle的博客
01-18 2万+
之前一直在Mac上使用ollama所以没注意，最近在Ubuntu上运行发现一直在CPU上跑。我一开始以为是超显存了，因为Mac上如果超内存的话，那么就只用CPU，但是我发现Llama3.23B只占用3GB，这远没有超。看了一下命令没发现有相关的选项。所以我查了一下。运气很好，找到了一篇博客写了可以强制在GPU上的方法：用容器跑。我也不知道为什么用容器就在GPU上跑了，官方也没有相关说明。
Ubuntu ollama 指定 gpu devices
莫扎特不唱摇篮曲
03-05 1130
在二卡机上安装了 dify + ollama + deepseek + stable-diffusion，如果同时运行会提示，在服务器上运行明显能看到 gpu 打满了，主要是 stable-diffusion 和 ollama 都会占用 GPU 产生冲突，于是决定将两者使用的GPU分开。
1panel面板使用GPU启动ollama
Hbb123654的博客
06-18 3305
其中/opt/1panel/apps/ollama为自己得安装路径。5、已GPU运行ollama得docker命令。6、运行模型查看是否在GPU运行。1、暂停ollama容器。2、删除ollama镜像。
没钱买GPU！本地还想跑大模型的终极工具Ollama！
youmaob的博客
11-22 1万+
Ollama 是一个开源平台，它允许我们在本地机器上轻松设置和运行 LLM。它简化了下载、安装和与 LLM 交互的过程。至少应该有 8 GB内存 的 Intel i5处理器才能运行7B型号，如果需要运行13B 的型号CPU起码得至少需要16 GB 的是i5。以此类推32 GB 的 RAM 来运行 33B 型号。
ollama调用GPU加速模型运行测试
02-21 3461
在个人计算机上成功安装PDFMathTranslate工具，通过ollama调用本地模型qwen2.5:7b，测试翻译1个8page的科技论文，需要耗时40多分钟，工具虽可用，但十分缓慢，使用效果差。通过ollama PS查看工具运行过程发现，CPU使用率100%，未激活本机GPU。。
ollama拉取模型指定GPU
04-03
<think>好的，我现在需要回答用户关于在使用Ollama时如何指定GPU来拉取模型的问题。首先，我得仔细看看用户提供的引用内容，看看有没有相关的信息。用户引用了四个来源，其中引用[2]和[4]提到了使用命令拉取模型，但没有直接提到GPU的指定方法。引用[3]提到了选择模型时建议根据硬件设备选择较大的模型，这可能间接涉及到GPU的使用，但没具体说明。 接下来，我需要回忆Ollama的官方文档或常见用法中关于GPU配置的部分。Ollama通常会自动检测并使用可用的GPU资源，但用户可能需要手动指定，比如通过环境变量或命令行参数。例如，可能需要在启动Ollama时设置某些参数，或者在拉取模型时添加选项。 然后，我需要考虑用户的操作系统环境。Ollama支持多个平台，比如Linux、macOS和Windows，不同的系统可能有不同的配置方式。例如，在Linux上可能需要设置CUDA_VISIBLE_DEVICES环境变量，或者使用Docker时通过参数指定GPU。用户提到使用容器内部操作，引用[4]中提到了在容器内拉取模型，这可能涉及到Docker的运行参数，如--gpus all。 此外，Ollama的modelfile可能允许在模型配置中指定GPU的使用。用户可能需要编辑modelfile，添加相关的参数，比如设置num_gpu层数。引用[2]中的ollama show命令展示了查看modelfile的方法，用户可能需要修改这个文件来指定GPU资源。 最后，我需要综合这些信息，给出步骤清晰的指导，包括环境变量设置、Docker配置和modelfile修改等方法，并确保引用相关的用户提供的引用内容，比如提到手动导入模型和Docker内部操作的部分。</think>### 如何在使用Ollama时指定GPU拉取模型 #### 1. 确认GPU环境准备 - 确保已安装NVIDIA驱动程序和CUDA工具包 - 安装GPU支持的Ollama版本（部分模型需特定版本支持） - 验证GPU可用性： ```bash nvidia-smi # 查看GPU状态 ``` #### 2. Docker容器指定GPU（推荐方式） 引用[4]提到的容器操作，启动时通过参数指定GPU： ```bash docker run --gpus all -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama ``` 通过`--gpus`参数控制GPU使用： - `--gpus all`：使用全部GPU - `--gpus 0`：仅使用第一个GPU - `--gpus '"device=0,1"'`：指定多块GPU #### 3. 模型拉取时指定GPU参数 部分模型支持通过环境变量指定GPU： ```bash OLLAMA_GPU_LAYERS=32 ollama pull qwen2:7b # 引用[3]提到的模型 ``` - `OLLAMA_GPU_LAYERS`：指定使用GPU计算的神经网络层数 - 建议值参考： - 7B模型：设置20-40层 - 13B模型：设置40-60层 #### 4. 永久配置GPU参数 修改模型配置文件（引用[2]的modelfile操作）： ```modelfile FROM qwen2:7b PARAMETER num_gpu 40 # 指定GPU计算层数 ``` #### 5. 运行验证 ```bash ollama run qwen2:7b # 输入"/info"查看GPU使用情况 ``` #### 6. 性能调优建议 - 根据显存容量调整`num_gpu`值 - 8GB显存建议设置35层左右 - 16GB显存可设置60层以上 - 使用`nvidia-smi`监控显存占用
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值