光速部署你专属的本地AI大模型，数据本地化处理，安全无忧。（Ollama+OpenWebUI光速部署你的本地大模型）

本文链接：https://blog.youkuaiyun.com/python123456_/article/details/146149723

大家好，今天给大家分享如何通过Ollama及OpenWebUI快速部署你的专属本地大模型。

一、前置知识

该章节主要介绍Ollama和Open-WebUI的概念性知识，直接部署请转到第二章节直接部署。

1、什么是Ollama?

Ollama是一个专注于本地化部署的开源框架，旨在简化大型语言模型（LLMs）和多模态模型的管理与运行。其核心设计借鉴了容器化思想，通过Modelfile封装模型权重、配置及依赖项，确保环境隔离和一致性，用户可通过命令行工具快速完成模型的下载（如ollama pull mistral）及交互式推理（如ollama run llama2）。

技术优势与架构：

本地化与成本优化

支持在本地CPU/GPU设备上运行模型，减少对云端资源的依赖，适用于数据敏感或网络受限场景。
高效资源管理

采用轻量级容器化技术，动态优化内存与显存使用，例如默认使用量化模型降低资源消耗。
多模型支持

兼容多种主流开源模型，包括Deepseek、Qwen、qwq、Llama系列（如Llama 2/3）、Mistral、Phi-3、Code Llama、Gemma及Zephyr-7b等，覆盖文本生成、代码补全和多模态任务。
开发友好性

提供REST API并与LangChain等框架深度集成，便于构建复杂应用（如知识库问答系统），支持提示工程和流式输出。

应用场景与实践：

隐私敏感场景

企业内部知识库（如结合MaxKB实现文档检索与问答）或医疗数据处理，确保数据不出本地。
实时交互需求

低延迟对话系统，利用GPU加速提升响应速度。
离线环境

在网络不稳定区域部署智能助手或数据分析工具。

实时更新

Ollama社区活跃，定期更新模型库及功能（如新增多模态支持），用户可通过Docker快速部署扩展服务。建议关注其GitHub仓库以获取最新模型和优化方案。

具体详情大家可以自行去官网了解查询，ollama的官网标志是一个小羊驼，大家别找错了哈。

在这里插入图片描述

2、什么是Open-WebUI？

Open-WebUI是一款开源、可扩展的自托管Web界面，专为本地化部署和管理大型语言模型（LLM）及多模态模型设计。其核心目标是为用户提供类似ChatGPT的交互体验，同时支持完全离线运行，确保数据隐私与安全性。以下是其核心能力及特性：

核心功能与特性

多后端兼容性

支持Ollama、OpenAI兼容API等多种LLM运行器，可灵活对接本地或云端模型服务，实现多模型无缝切换及并行交互。

直观交互界面

采用响应式设计，适配桌面和移动设备，提供代码语法高亮、完整的Markdown/LaTeX支持、语音输入（集成Whisper模型）等功能，并支持通过预设提示模板加速对话。

本地化增强能力

检索增强生成（RAG）：支持文档直接加载与库管理，通过#命令调用文档内容，深度融合知识检索与生成。

网页内容集成：实时抓取指定URL内容并融入对话，扩展交互的信息来源。

模型全生命周期管理

用户可直接通过Web界面下载、删除模型，或上传GGUF格式文件创建自定义Ollama模型，简化模型部署流程。

企业级扩展与安全

支持多用户管理、基于角色的访问控制（RBAC），并提供Docker、Kubernetes及Python多种部署方案，满足从个人到企业级的安全与扩展需求。

Open-WebUI通过模块化设计持续迭代，社区驱动的发展模式使其功能不断丰富，成为构建私有化AI基础设施的高效工具。Open-WebUI界面交互同ChatGPT界面极其相似，参考如下：

在这里插入图片描述

二、环境搭建

Ollama本地部署指南

零代码·三步上手·隐私无忧
（支持Win/Mac/Linux系统）

极简安装（3分钟）

1、下载安装包

官网直达：https://ollama.com/download
根据系统选择：
- Windows
  
  双击安装包，自动配置WSL2环境
- Mac
  
  拖拽至Applications文件夹
- Linux
  
  复制粘贴一键命令👇

curl -fsSL https://ollama.com/install.sh | sh

2、验证安装

打开终端（Windows用PowerShell），输入：

ollama run deepseek-r1:14b

静静等待模型下载并运行，模型运行后效果如下：

在这里插入图片描述

等待模型下载成功后，大家就可以在命令行直接提问了，大模型会根据自己知识库的数据回复。想退出的话直接输入“/bye”即可成功退出。

模型管理（小白必看）

😊 常用模型推荐

轻量首选：phi3（2.3GB·手机也能跑）
全能选手：deepseek-r1:7b（4.7GB·中英文流畅）
代码神器：deepseek-coder:latest（776 MB 编程问答，轻量）

😊 下载模型

预下载命令：

ollama pull 你的模型名称（例如：deepseek-r1:7b，这个模型基本电脑运行内存充足就可以流畅运行）

下载完成后，直接运行如下命令启动：

ollama run 你的模型名称

直接运行自动下载：

ollama run 模型名

直接执行run操作，ollama会先下载对应模型并直接启动，相对较方便。

😊 模型存放位置

在这里插入图片描述

至此，其实就可以简单使用命令行来和大模型对话了，但为了更好地用户体验我们需要OpenWebUI这样的前端交互界面。

OpenWebUI本地部署指南

⭐ 准备工作（10分钟，具体速度取决于网速）

1、安装Docker

Windows/Mac
- 访问 Docker官网下载并安装 Docker Desktop。
Linux：使用以下命令安装 Docker

sudo apt-get update  
sudo apt-get install docker.io

2、启动 Docker 服务

Windows/Mac

安装完成后，启动 Docker Desktop。
Linux

使用以下命令启动 Docker 服务：

sudo systemctl start docker
sudo systemctl enable docker

⭐ 部署 OpenWebUI(*15分钟，具体速度取决于网速*)

官网地址：https://docs.openwebui.com/

方法一：Docker版本快速部署

1、拉取 OpenWebUI 镜像

简易部署

打开终端（Windows用PowerShell），输入以下命令：

- 如果Ollama在您的计算机上，执行如下命令：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

- 若要运行支持Nvidia GPU的Open WebUI，执行如下命令效果更好：

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

与Ollama捆绑的开放式WebUI部署
- 使用GPU支持：通过运行以下命令来利用GPU资源启动OpenWebUI：

docker run -d -p 3000:8080 --gpus=all --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

- 仅适用于CPU：如果您没有使用GPU，请使用以下命令启动OpenWebUI：

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

- 也可简易使用以下命令启动 OpenWebUI 容器：

docker run -d -p 3000:8080 --name open-webui ghcr.io/open-webui/open-webui:ollama

2、参数解释

参数	作用
`-d`	后台运行容器（Detached模式），不阻塞终端。
`-p 3000:8080`	将宿主机的3000端口映射到容器的8080端口，访问`http://localhost:3000`即可操作Web界面。
`--gpus=all`	启用所有GPU资源加速推理（需NVIDIA显卡及Docker GPU支持）。
`-v ollama:/root/.ollama`	挂载名为`ollama`的卷到容器内路径`/root/.ollama`，用于保存模型文件（避免容器删除后数据丢失）。
`-v open-webui:/app/backend/data`	挂载名为`open-webui`的卷到容器内路径`/app/backend/data`，保存聊天记录等应用数据。
`--name open-webui`	指定容器名称为`open-webui`，便于后续管理（启动/停止：`docker start/stop open-webui`）。
`--restart always`	容器意外退出时自动重启，保障服务持续可用。
`ghcr.io/open-webui/open-webui:main`	使用的镜像地址及标签（`ollama`标签表示适配Ollama后端）。

3、访问 OpenWebUI

打开浏览器，输入以下地址访问 OpenWebUI：

http://localhost:3000

UI界面展示：

在这里插入图片描述

点击“开始使用”，然后按照提示创建你的管理员密码

在这里插入图片描述

至此，属于你的本地AI大模型及前端WebUI界面就都部署好了。

在这里插入图片描述

方法二：Python版OpenWebUI部署

1、安装python11

为什么要装Python11而不是Python最新版本，这点官网有给出解释：

在这里插入图片描述

大致意思就是高版本还未通过彻底测试，当前建议使用Python11部署，本人亲测，高版本会报错，所以大家直接用Python11部署即可，我本地使用的是Python3.11.9，亲测可用，大家可参考。

访问如下Python官网历史版本下载链接进行下载：

https://www.python.org/downloads/release/python-3119/

注意： 这里有个小技巧，如果下载别的版本的Python可根据版本自行更改后缀，例如：下载python3.13.2，那就直接浏览器访问如下地址进行下载。

https://www.python.org/downloads/release/python-3132/

根据自己的电脑情况自行选择下载的版本，这里以Windows来举例，32位及64位对应的下载包如下图所示：

在这里插入图片描述

安全提示：

下载完成后校验一下当前安装包的MD5的值是否和上图对应的MD5保持一致，以Windows举例，可以调用系统命令查看安装包MD5：
- PwerShell方式验证

执行如下命令查看你本地文件的Hash值

Get-FileHash "你文件的绝对路径" -Algorithm MD5 | Format-List

演示示例如下图所示：

在这里插入图片描述

- CMD方式验证

执行如下命令查看你本地文件的Hash值

certutil -hashfile "你文件的绝对地址" MD5

演示示例如下图所示：

在这里插入图片描述

历史版本可能存在安全漏洞或潜在的Bug，个人本地部署影响不大，正式服务器环境部署大家酌情考虑。

2、安装Open WebUI

打开终端命令行并运行以下命令：

pip install open-webui

3、启动OpenWebUI

安装后，使用以下命令启动服务器：

open-webui serve

4、更新OpenWebUI

要更新到最新版本，只需运行：

pip install --upgrade open-webui

执行第3步后我们耐心等待OpenWebUI启动即可：

在这里插入图片描述

如上图所示，命令行出现绿色时间及INFO标识的时候环境启动成功，Python方式启动默认绑定本地8080端口，所以这时访问：http://localhost:8080即可成功访问OpenWebUI，由于Docker版部署已经分享过首次登录注册方式，这里直接展示登录后的界面，如下图：

在这里插入图片描述

⭐ OpenWebUI对话演示

在这里插入图片描述

OpenWebUI会默认配置Ollama中的所有大模型，供用户选择，如下图：

在这里插入图片描述

用户可以随意切换自己想要的大模型来回答问题，当然，OpenWebUI也提供了可以控制大模型输出的各类参数，大家也可以根据自己的理解自行调整，例如让大模型回答的时候返回更多的描述，可调整如下图所示的参数，值越大，模型可返回文字越多：

如何零基础入门 / 学习AI大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高

那么我作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，希望可以帮助到更多学习大模型的人！至于能学习到多少就看你的学习毅力和能力了。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

👉 福利来袭优快云大礼包：《2025最全AI大模型学习资源包》免费分享，安全可点 👈

全套AGI大模型学习大纲+路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

read-normal-img

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求：大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能，学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力：大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉 福利来袭优快云大礼包：《2025最全AI大模型学习资源包》免费分享，安全可点 👈

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。