使用docker+Ollama部署模型

最新推荐文章于 2025-05-03 20:27:30 发布

Wenhao.

最新推荐文章于 2025-05-03 20:27:30 发布

阅读量228

点赞数 3

CC 4.0 BY-SA版权

文章标签： docker 容器运维

本文链接：https://blog.youkuaiyun.com/Deep_C/article/details/147469067

docker安装Ollama

拉取镜像

docker pull ollama/ollama

运行环境

docker run -d -v D:\ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Ollama的模型库 https://ollama.com/library
qwen2.5:0.5b地址https://ollama.com/library/qwen2.5:0.5b

进入docker中的Ollama运行模型，如果没有该模型会自动下载

运行模型

 docker exec -it ollama ollama run qwen2.5:0.5b

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Wenhao.

关注关注

3
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Windows搭建Docker+Ollama+Open-WebUI部署DeepSeek本地模型

CPUOS2010的博客

01-29

6837

本文将详细介绍如何在Windows系统上安装和使用Docker+Ollama+Open-WebUI，这三个强大的工具将帮助您轻松管理和运行大型语言模型DeepSeek。Ollama简化了模型的下载与部署，而Open-WebUI则提供了一个直观的图形用户界面，使用户能够更方便地与模型进行交互。

【AI】在docker中部署ollama体验AI模型

热门推荐

随缘观

03-01

2万+

在docker中部署ollama体验AI模型。

1 条评论您还未登录，请先登录后发表或查看评论

在终端使用DOCKER部署ollama

i8520-酷谷的谷子-博客

04-23

6671

【ChatGPT高仿版WebUI：Ollama + Open WebUI本地环境搭建】 https://www.bilibili.com/video/BV1Ex421Q723/?【轻松搭建本地大模型 Web 交互界面 - Ollama + Open WebUI】 https://www.bilibili.com/video/BV1ux4y1Q7zN/?4.1 下载 https://ollama.com。

docker 本地部署大模型（ollama）

颹蕭蕭

07-08

1万+

此处由于挂载目录使用了相对路径，所以本地文件夹位于 /var/lib/docker/volumes/ollama而非运行命令的相对路径测试 api。

Ollama教程，本地部署大模型Ollama，docker安装方法，仅供学习使用

chenyu_Yang的博客

06-01

6792

先上视频教学：

docker安装ollama

北海刘德华的博客

03-11

1万+

拉取镜像运行容器（挂载路径 D:\ollama 改成你自己喜欢的路径）CPU onlyNvidia GPU（没试过这个）运行模型上图就是运行成功了，可以在命令行中输入任何问题了。部署web界面用浏览器打开http://localhost:3000，即可像使用ChatGPT一样使用自己的私有GPT了。

使用Docker+ollama部署大模型

m0_64636251的博客

08-04

8194

使用Docker+ollama部署大模型，包括docker和ollama安装配置，以及大模型部署实例

使用Docker + Ollama在Ubuntu中部署deepseek

春花秋月冬雪风，留得残荷听雨声。

02-08

4608

使用docker+Ollama在Ubuntu中部署私人deepseek模型

[特殊字符]零基础玩转大模型！Docker+Ollama极速部署DeepSeek全流程揭秘

AL.千灯学长的博客

04-15

526

然而，其云端服务的稳定性问题（如高负载宕机）和隐私安全需求，使得本地化部署成为刚需。：NVIDIA GPU（显存≥8GB）+ 多核CPU（如Intel i7），无需高端GPU即可实现本地部署，且支持定制化开发与离线运行。：16GB内存 + 20GB磁盘空间（SSD优先）：支持从1.5B到671B参数版本（按需选择）的发展，本地化部署将成为AI应用的标配。：容器化部署的核心引擎，支持跨平台运行。：1.5B/7B（显存需求4-8GB）：开源大模型运行框架，简化模型管理。：14B/32B（显存≥16GB）

Docker+Ollama+RAGFlow本地部署DeepSeek R1并构建本地知识库

F8_11的博客

03-04

1906

本文详细记录了通过Ollama安装DeepSeek R1:7B模型，通过Docker加载Open-WebUI，RAGFlow框架，并以RAGFlow为基础搭建本地知识库，其中embedding模型选择了比较受欢迎的nomic-embed-text。通过对通用大模型融合本地知识库进行推理的亲自体验，形成对于DeepSeek等AI大模型利用方式的新认识。

终于可以在本地玩大模型了！Docker+Ollama+Dify，分分钟带你构建Llama模型本地服务，CPU也能玩的大模型教程！

datian1234的博客

12-28

5640

如今越来越多的伙伴们开始借助 Ollama 来把玩模型。Ollama是一款开源工具，它允许用户在本地便捷地运行多种大型开源模型，包括清华大学的ChatGLM、阿里的千问以及Meta的llama等等。但多数情况下，我们看到的都是那种拿来就用的“预制菜”模式，如果我们想要使用自己微调的模型，那又该怎么搞定呢? 今天这篇文章就来带大家看看如何通过 Ollama 来搭建“个性化”的模型服务，特别是针对那些经过微调、准备用于推理的模型，这个过程中我们还会借助到另外一个王炸工具辅助，Dify。

AI菜鸟向前飞 — 本地部署大语言模型之Ollama（保姆级指北）

Song榆钱儿的博客

05-13

883

这里教大家如何在本地部署Ollama大语言模型，强烈建议大家使用Docker方式启动，这样你随时可，因为我听说Ollama的守护进程会一直占用你的机器资源

从零到一使用 Ollama、Dify 和 Docker 构建 Llama 3.1 模型服务

折腾技术

07-28

2224

本篇文章聊聊，如何使用 Ollama、Dify 和 Docker 来完成本地 Llama 3.1 模型服务的搭建。如果你需要将 Ollama 官方不支持的模型运行起来，或者将新版本 llama.cpp 转换的模型运行起来，并且想更轻松的使用 Dify 构建 AI 应用，那么本文或许会对你有所帮助。

安装docker版本ollama

weixin_47249499的博客

12-20

4662

由于服务器在docker pull ollama/ollama时会卡住，首先通过wsl下载并导出ollama的docker镜像包。1.由于服务器本身有非docker版的ollama，因此先用命令停止。注：如果原服务器已配置低版本的docker版本ollama，请先删除。此处-v后面紧跟的路径需要根据实际路径地址来进行映射。4.加载镜像成功后，输入如下命令进行查看。2.使用docker镜像构建容器。3.在终端运行以下命令加载镜像。1.上传tar包到指定服务器。2.进入tar包所在文件夹。

在 Docker 上运行 Ollama：快速指南

Dc253061007的博客

04-12

316

大家好，这里是！点击上方关注，添加“”，一起学习大厂前沿架构！嗨，又是我！在过去的几天里，我一直在测试多种在本地使用 LLM 的方法，到目前为止，Ollama 是用于设置快速环境以测试代码和功能的最佳工具（忽略 UI 和其他 QoL 方面）。我以前尝试过和其他工具，但当目标只是设置一个运行模型以连接API（在带有 WSL 的 Windows 上）时，它们似乎过于臃肿。Ollama 提供了极其直接的体验。因此，今天我决定通过 Docker 容器安装和使用它——它出奇的简单和强大。

docker部署ollama

最新发布

qq_37193169的博客

05-03

911

AI搭建学习之ollama

通过docker来部署ollama

weixin_55649036的博客

03-31

336

有另一种更快速的方法：通过docker拉取ollama镜像，并映射端口11432,之后可以通过docker 容器来 pull模型，步骤如下。正常情况下，通过以下命令来一键安装ollama是非常慢的。

使用docker通过ollama本地化部署qwen大模型

qq_47814951的博客

08-19

1380

如果配置不对，重装！如果有奇怪的错误，重启！（基本解决99%问题）

windos使用Docker + Ollama在中部署deepseek

02-26

### 使用Docker和Ollama在Windows上部署DeepSeek #### 三、环境准备为了确保顺利运行，在Windows环境中需先安装Docker Desktop。这一步骤至关重要，因为后续操作均依赖于Docker容器化平台来管理应用及其服务[^2]。 #### 四、安装并配置Docker Desktop 对于尚未安装Docker Desktop的情况，建议访问[Docker官方网站](https://www.docker.com/products/docker-desktop/)获取最新版本，并遵循官方指南完成安装过程。安装完成后启动Docker Desktop应用程序，确认其正常工作后再继续下一步的操作。 #### 五、安装Ollama 针对Windows系统的用户来说，可以通过Chocolatey包管理器快速安装Ollama工具链： ```powershell choco install ollama-cli -y ``` 此命令会自动处理所有必要的依赖关系，简化了手动设置流程中的复杂度。安装完毕之后可通过`ollama --version`指令检验是否成功安装Ollama CLI客户端[^1]。 #### 六、验证Ollama安装情况执行如下PowerShell脚本来测试刚刚安装好的Ollama能否正常使用: ```powershell $VersionInfo = (ollama version).Trim() if ($VersionInfo.StartsWith('v')) { Write-Host "Ollama 已正确安装, 版本号为 $VersionInfo" } else { Write-Error "未能识别到有效的 Ollama 安装!" } ``` 这段代码片段能够帮助判断当前计算机上的Ollama是否处于可用状态，并显示具体的版本信息作为参考依据。 #### 七、拉取DeepSeek镜像至本地仓库利用预先设定好的Ollama工具集可以方便地从远程服务器下载所需的AI模型文件夹，这里以DeepSeek为例展示具体做法： ```bash ollama pull deepseek-r1 ``` 上述命令将会把指定名称的预训练模型加载进来以便稍后调用使用。值得注意的是，默认情况下这些资源会被保存在一个特定位置供以后查询或更新之用。 #### 八、启动Open Web UI界面为了让开发者更直观便捷地管理和监控整个项目进展状况，推荐采用图形化的Web控制面板形式来进行交互式开发体验。有两种方式可供选择——一种是借助Python虚拟环境下pip工具直接安装；另一种则是更加简便高效的途径即运用前面提到过的Docker技术栈创建独立的服务实例： ##### 方法A: Python Pip Install 按照提示依次输入下列语句即可顺利完成软件包导入任务： ```bash pip install open-webui ``` 随后依照屏幕指示进一步完善其余参数选项直至结束为止。 ##### 方法B: Docker Compose Setup 如果倾向于第二种解决方案，则只需复制粘贴下方给出的一行简单的docker-compose.yml定义文档内容，再配合相应端口映射规则就能立即激活在线可视化编辑功能区： ```yaml version: '3' services: webui: image: ghcr.io/your-repo/openwebui:latest ports: - "7860:7860" ``` 接着打开终端窗口键入`docker compose up -d`让后台持续运行该进程而不影响其他日常活动。 #### 九、常见错误排查技巧在整个搭建过程中难免会出现各种意外情形阻碍进度推进，以下是几种典型的故障现象连同对应的修复措施汇总表： | 错误描述 | 解决办法 | | --- | --- | | `docker.exe not found` | 确认已经正确设置了系统变量PATH指向Docker可执行程序所在目录 | | `failed to connect...` | 尝试重启电脑使新安装的应用生效或者检查防火墙设置允许相关网络连接请求通过 | | `image cannot be pulled` | 清理缓存重新尝试pull动作，亦或是切换不同的源地址重试 | 以上就是关于怎样在Windows平台上结合Docker与Ollama两大利器共同打造属于自己的个性化DeepSeek AI服务平台的整体介绍。