docker 方式运行ollama 大模型deepseek

已于 2025-03-21 23:35:56 修改
阅读量409 收藏
点赞数 1
CC 4.0 BY-SA版权
文章标签： docker 容器 运维
于 2025-02-08 13:49:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/neterrrr/article/details/145493839

在Linux上
对于Nvidia GPU，Ollama可以在Docker容器内通过GPU加速运行。

要开始使用Docker镜像，请使用以下命令。

仅使用CPU


docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Nvidia GPU
安装Nvidia容器工具包。
在Docker容器内运行Ollama


docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

运行模型
现在你可以在容器内运行像deepseek-r1:1.5b这样的模型。

docker exec -it ollama ollama run deepseek-r1:1.5b

结尾：样例小程序二维码，我自己做的一个免费好用的【随机选择决定转盘工具】小程序,欢迎扫码体验呦！

​

谢谢阅读!~~

docker部署ollama
qq_37193169的博客
05-03 1066
AI搭建学习之ollama
docker 方式运行ollama 大模型
进击的Blazor
12-02 3152
Ollama现在已有Docker hub开源的镜像提供，这使得使用Docker容器运行大型语言模型变得更加简单。有了Ollama，大型语言模型的所有交互都在本地进行，无需将数据发送给第三方服务。
docker desktop使用ollama在GPU上运行deepseek r1大模型
yimenren的博客
01-28 1万+
注：也可以通过docker-compose.yaml配置文件拉取ollama，参考。我拉取的是14B，大家可以根据自己电脑配置选择不同版本大模型。四、在ollama容器中拉取deepseek r1模型。方式一：docker desktop界面启动。五、（可选）运行deepseek并调用GPU。二、拉取ollama镜像。一、安装docker。
Docker 一文学会快速搭建ollama环境及运行deepseek-r1
机器人梦想家 Bing Lee
02-10 1241
近年来，人工智能技术飞速发展，大模型作为其中的重要分支，正在深刻改变各行各业的工作方式和效率。Deepseek 作为国内领先的大模型研发团队，推出了高性能的 Deepseek-R1 模型，其在自然语言处理、文本生成等任务中表现出色，受到了广泛关注。然而，对于许多开发者来说，配置和部署大模型环境仍然存在一定的门槛，尤其是在环境依赖、资源管理等方面容易遇到问题。为了降低使用门槛，本文将介绍如何利用 Docker 技术，快速配置和部署 Deepseek-R1 的完整运行环境。
docker安装ollama
北海刘德华的博客
03-11 1万+
拉取镜像运行容器（挂载路径 D:\ollama 改成你自己喜欢的路径）CPU onlyNvidia GPU（没试过这个）运行模型上图就是运行成功了，可以在命令行中输入任何问题了。部署web界面用浏览器打开http://localhost:3000，即可像使用ChatGPT一样使用自己的私有GPT了。
Ollama在Docker下的安装与配置
weixin_40280870的博客
01-22 1万+
docker部署olllama运行大模型
docker部署dify与ollama+deepseek大模型结合
weixin_50902225的博客
02-14 1622
de运行环境：docker +dify+ollama+deepseek。
[特殊字符]零基础玩转大模型！Docker+Ollama极速部署DeepSeek全流程揭秘
最新发布
AL.千灯学长的博客
04-15 532
然而，其云端服务的稳定性问题（如高负载宕机）和隐私安全需求，使得本地化部署成为刚需。：NVIDIA GPU（显存≥8GB）+ 多核CPU（如Intel i7），无需高端GPU即可实现本地部署，且支持定制化开发与离线运行。：16GB内存 + 20GB磁盘空间（SSD优先）：支持从1.5B到671B参数版本（按需选择）的发展，本地化部署将成为AI应用的标配。：容器化部署的核心引擎，支持跨平台运行。：1.5B/7B（显存需求4-8GB）：开源大模型运行框架，简化模型管理。：14B/32B（显存≥16GB）
简易教程|使用Ollama在本地部署大语言模型（Ollama+Deepseek_R1+OpenWebUI）
热门推荐
m0_61171702的博客
01-26 4万+
用简洁的方式部署AI大模型，从安装ollama到拉取AI大模型文件，到使用OpenWebUI的使用，没有多余描述。
使用Docker本地内网部署ollama和DeepSeek-R1大模型
呱牛 Just do IT
02-21 781
关于基于DeepSeek-R1蒸馏的六款子模型是否适合个人部署，我特别关注了其中一些模型文件非常庞大的版本，比如DeepSeek-R1-Distill-Qwen-32B和DeepSeek-R1-Distill-Llama-70B。
使用Docker + Ollama在Ubuntu中部署deepseek
春花秋月冬雪风，留得残荷听雨声。
02-08 4653
使用docker+Ollama在Ubuntu中部署私人deepseek模型
docker本地部署ollama
略
03-05 501
前提是笔记本已配置NVIDIA的GPU驱动，可在shell中输入nvidia-smi查看详细情况。1.使用该命令启动CPU版运行本地AI模型。2.此命令用于启动GPU版本运行AI模型。启动ollama容器。
【AI】在docker中部署ollama体验AI模型
随缘观
03-01 2万+
在docker中部署ollama体验AI模型。
docker 中使用gpu
ResumeProject的博客
03-12 5018
如果没有正确配置会报错：could not select device driver “” with capabilities: [[gpu]].
【快捷部署】018_Ollama（GPU版）
luckcxy的专栏
04-15 7856
16期介绍的仅CPU的快捷部署，本文介绍带有GPU的云服务器快捷部署。
如何使用Docker安装Ollama
这里面的代码全是错的
02-07 826
这将从Ollama的模型库中下载并安装Gemma模型的最新版本。打开浏览器，访问http://localhost:3000，如果看到Ollama的界面，则表示安装成功。模型安装完成后，你可以通过命令行输入相应的命令来使用Gemma模型进行文本生成或其他任务。Ollama提供了丰富的功能和API，你可以通过阅读官方文档来探索更多高级功能和定制选项。安装完成后，可以通过命令行输入ollama命令来验证是否安装成功。在命令行中输入ollama命令来启动Ollama。下载完成后，运行安装包，按照提示完成安装过程。
linux 运行ollama
weixin_29520441的博客
05-08 1893
启动docker之后，进入docker容器：docker exec -it ollama /bin/bash。需要在命令中添加 --privileged 参数。如下图所示，模型已经启动。
docker部署Ollama到Liunx系统中
qq_42872795的博客
02-24 831
通过docke pull ollama/ollama 可能会下载不成功，直接再docker desktop中搜索ollama下载到本地，然后再保存成tar文件发送到Linux系统中。ollama的官网，里面有模型。第一次运行mode会自动下载，
linux 安装ollama 大模型deepseek怎么跑显卡
03-23
<think>好的，我现在需要帮助用户解决在Linux系统上安装Ollama并运行DeepSeek大模型时如何利用显卡的问题。首先，我得回顾一下用户的问题，确保我完全理解他们的需求。用户提到的是安装Ollama，然后运行DeepSeek大模型，并且要使用显卡，可能是指GPU加速。所以，我需要分步骤指导他们完成这个过程，确保每个环节都正确无误。 首先，安装Ollama。根据官方文档，Ollama在Linux上的安装通常是通过curl命令下载安装脚本然后执行。这一步应该没问题，但我要确认用户是否有权限运行脚本，可能需要sudo权限。同时，安装完成后要启动服务，可能需要检查服务状态是否正常。 接下来，确保显卡驱动已经正确安装。用户可能需要NVIDIA的显卡，因为大多数深度学习应用都依赖NVIDIA的CUDA。所以需要指导用户检查驱动是否安装，使用nvidia-smi命令。如果没有输出，可能需要安装驱动，这里可能需要用户根据自己的发行版去查找安装方法，比如Ubuntu可以用apt，而Arch可能需要不同的方式。 然后是CUDA Toolkit和cuDNN的安装。CUDA Toolkit是必须的，因为Ollama可能依赖它来使用GPU。用户需要确认CUDA版本是否兼容他们的显卡和Ollama的要求。同样，cuDNN也是NVIDIA的深度学习库，可能需要从官网下载并按照指南安装。这部分可能需要用户注册开发者账户，下载相应的包，并解压到指定位置，设置环境变量。 安装完驱动和CUDA后，需要验证环境。确保CUDA被正确识别，比如运行nvcc --version或者检查环境变量PATH和LD_LIBRARY_PATH是否包含CUDA的路径。如果环境变量没设置好，Ollama可能无法找到CUDA库，导致无法使用GPU。 接下来是安装Ollama。用户可能已经按照步骤安装了，但可能需要确认安装是否成功，比如运行ollama --version或者查看服务状态。如果有问题，可能需要重新安装或者检查日志。 然后，拉取DeepSeek模型。Ollama支持很多模型，但DeepSeek可能不在默认的模型库中，所以用户需要知道正确的模型名称或者指定自定义的Modelfile。可能需要用户访问Ollama的模型库或者DeepSeek的官方资源，找到对应的模型名称，比如可能是deepseek-llm:7b或者其他版本。如果模型需要特定配置，用户可能需要创建Modelfile，并在其中指定GPU层数等参数。 运行模型时，使用ollama run命令，并传递正确的模型名称。用户需要确认模型是否成功加载，并且是否使用了GPU。可以通过ollama的日志或者运行时的输出来判断，比如查看是否有类似“using GPU”的消息，或者使用nvidia-smi查看GPU使用情况。 如果遇到GPU未被使用的情况，可能需要排查几个方面：CUDA和驱动版本是否兼容，Ollama是否编译了GPU支持，模型是否配置为使用GPU层。用户可能需要检查Ollama的文档，确认是否支持他们的显卡型号，比如某些较新的显卡可能需要特定版本的CUDA。此外，可能需要设置环境变量，如OLLAMA_GPU_LAYERS来指定使用的GPU层数，或者OLLAMA_CUDA_COMPUTE来指定计算能力。 另外，用户可能会遇到依赖项缺失的问题，比如缺少某些库文件。这时候需要根据错误信息安装对应的包，比如libcudart.so可能属于CUDA运行时库，需要确认安装是否正确。 最后，建议用户参考Ollama的官方文档和DeepSeek的说明，确保所有步骤都是最新的，因为软件更新可能导致步骤变化。同时，如果遇到问题，查看日志文件，比如/var/log/ollama或用户目录下的日志，可以帮助定位问题。 总结步骤应该是：安装Ollama -> 安装显卡驱动和CUDA -> 配置环境 -> 拉取并运行模型，并确保使用GPU。每个步骤都需要验证，确保成功后才能进行下一步。如果中间某步失败，需要根据错误信息进行排查，可能需要搜索相关错误或者查阅社区讨论。</think>以下是在Linux系统安装Ollama并运行DeepSeek大模型使用显卡的详细步骤： --- ### 一、安装Ollama ```bash # 官方一键安装脚本（需要curl） curl -fsSL https://ollama.com/install.sh | sh # 启动服务（部分系统需手动启动） sudo systemctl enable ollama sudo systemctl start ollama ``` --- ### 二、显卡环境准备 #### 1. 验证显卡驱动 ```bash nvidia-smi # 应显示GPU信息 ``` - 若未安装驱动： - Ubuntu/Debian: `sudo apt install nvidia-driver-535` - CentOS/RHEL: `sudo yum install nvidia-driver` - Arch: `sudo pacman -S nvidia` #### 2. 安装CUDA Toolkit ```bash # Ubuntu/Debian示例（最新版） wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600 wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda-repo-ubuntu2204-12-4-local_12.4.0-550.54.14-1_amd64.deb sudo dpkg -i cuda-repo-ubuntu2204-12-4-local_12.4.0-550.54.14-1_amd64.deb sudo apt-get update sudo apt-get -y install cuda-toolkit-12-4 ``` #### 3. 配置环境变量 ```bash echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc echo 'export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc source ~/.bashrc ``` --- ### 三、运行DeepSeek模型 #### 1. 拉取模型 ```bash # 示例使用DeepSeek 7B模型（根据实际模型名调整） ollama pull deepseek-llm:7b ``` #### 2. 强制启用GPU ```bash # 运行时指定GPU层数（根据显存调整） OLLAMA_GPU_LAYERS=35 ollama run deepseek-llm:7b ``` --- ### 四、验证GPU使用 1. 新开终端执行监控： ```bash watch -n 1 nvidia-smi # 应看到显存占用和计算进程 ``` 2. 模型交互测试： ```bash >>> 请写一段Python快速排序代码 # 观察响应速度及GPU利用率 ``` --- ### 五、常见问题排查 1. **GPU未调用**： - 确认CUDA版本兼容性：`nvcc --version` - 检查Ollama日志：`journalctl -u ollama -f` - 尝试设置更多GPU层：`OLLAMA_GPU_LAYERS=50` 2. **显存不足**： ```bash # 减少并行请求数 OLLAMA_NUM_PARALLEL=2 ollama run deepseek-llm:7b ``` 3. **自定义模型配置**： 创建`Modelfile`： ```text FROM deepseek-llm:7b PARAMETER num_gpu 35 PARAMETER numa true ``` 构建并运行： ```bash ollama create custom-deepseek -f Modelfile ollama run custom-deepseek ``` --- ### 六、性能优化建议 1. 使用Docker版（可选）： ```bash docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 ollama/ollama ``` 2. 启用量化版本： ```bash ollama pull deepseek-llm:7b-q4_0 # 4-bit量化版显存需求降低40% ``` --- > 最新支持列表参考：[Ollama官方文档](https://ollama.ai/library/deepseek-llm) > 显卡兼容性：建议NVIDIA 10系以上（含RTX系列），至少8GB显存
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

neter.asia

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值