大家好,今天给大家分享如何通过Ollama及OpenWebUI快速部署你的专属本地大模型。
一、前置知识
该章节主要介绍Ollama和Open-WebUI的概念性知识,直接部署请转到第二章节直接部署。
1、什么是Ollama?
Ollama是一个专注于本地化部署的开源框架,旨在简化大型语言模型(LLMs)和多模态模型的管理与运行。其核心设计借鉴了容器化思想,通过Modelfile封装模型权重、配置及依赖项,确保环境隔离和一致性,用户可通过命令行工具快速完成模型的下载(如ollama pull mistral
)及交互式推理(如ollama run llama2
)。
技术优势与架构:
-
本地化与成本优化
支持在本地CPU/GPU设备上运行模型,减少对云端资源的依赖,适用于数据敏感或网络受限场景。
-
高效资源管理
采用轻量级容器化技术,动态优化内存与显存使用,例如默认使用量化模型降低资源消耗。
-
多模型支持
兼容多种主流开源模型,包括Deepseek、Qwen、qwq、Llama系列(如Llama 2/3)、Mistral、Phi-3、Code Llama、Gemma及Zephyr-7b等,覆盖文本生成、代码补全和多模态任务。
-
开发友好性
提供REST API并与LangChain等框架深度集成,便于构建复杂应用(如知识库问答系统),支持提示工程和流式输出。
应用场景与实践:
-
隐私敏感场景
企业内部知识库(如结合MaxKB实现文档检索与问答)或医疗数据处理,确保数据不出本地。
-
实时交互需求
低延迟对话系统,利用GPU加速提升响应速度。
-
离线环境
在网络不稳定区域部署智能助手或数据分析工具。
实时更新
Ollama社区活跃,定期更新模型库及功能(如新增多模态支持),用户可通过Docker快速部署扩展服务。建议关注其GitHub仓库以获取最新模型和优化方案。
具体详情大家可以自行去官网了解查询,ollama的官网标志是一个小羊驼,大家别找错了哈。
2、什么是Open-WebUI?
Open-WebUI是一款开源、可扩展的自托管Web界面,专为本地化部署和管理大型语言模型(LLM)及多模态模型设计。其核心目标是为用户提供类似ChatGPT的交互体验,同时支持完全离线运行,确保数据隐私与安全性。以下是其核心能力及特性:
核心功能与特性
- 多后端兼容性
支持Ollama、OpenAI兼容API等多种LLM运行器,可灵活对接本地或云端模型服务,实现多模型无缝切换及并行交互。
- 直观交互界面
采用响应式设计,适配桌面和移动设备,提供代码语法高亮、完整的Markdown/LaTeX支持、语音输入(集成Whisper模型)等功能,并支持通过预设提示模板加速对话。
- 本地化增强能力
检索增强生成(RAG):支持文档直接加载与库管理,通过#命令调用文档内容,深度融合知识检索与生成。
网页内容集成:实时抓取指定URL内容并融入对话,扩展交互的信息来源。
- 模型全生命周期管理
用户可直接通过Web界面下载、删除模型,或上传GGUF格式文件创建自定义Ollama模型,简化模型部署流程。
- 企业级扩展与安全
支持多用户管理、基于角色的访问控制(RBAC),并提供Docker、Kubernetes及Python多种部署方案,满足从个人到企业级的安全与扩展需求。
Open-WebUI通过模块化设计持续迭代,社区驱动的发展模式使其功能不断丰富,成为构建私有化AI基础设施的高效工具。Open-WebUI界面交互同ChatGPT界面极其相似,参考如下:
二、环境搭建
Ollama本地部署指南
零代码·三步上手·隐私无忧
(支持Win/Mac/Linux系统)
极简安装(3分钟)
1、下载安装包
-
官网直达:https://ollama.com/download
-
根据系统选择:
-
-
Windows
双击安装包,自动配置WSL2环境
-
Mac
拖拽至Applications文件夹
-
Linux
复制粘贴一键命令👇
-
curl -fsSL https://ollama.com/install.sh | sh
2、验证安装
-
打开终端(Windows用PowerShell),输入:
ollama run deepseek-r1:14b
静静等待模型下载并运行,模型运行后效果如下:
等待模型下载成功后,大家就可以在命令行直接提问了,大模型会根据自己知识库的数据回复。想退出的话直接输入“/bye”即可成功退出。
模型管理(小白必看)
😊 常用模型推荐
- 轻量首选:
phi3
(2.3GB·手机也能跑) - 全能选手:
deepseek-r1:7b
(4.7GB·中英文流畅) - 代码神器:
deepseek-coder:latest
(776 MB 编程问答,轻量)
😊 下载模型
-
预下载命令:
ollama pull 你的模型名称(例如:deepseek-r1:7b,这个模型基本电脑运行内存充足就可以流畅运行)
下载完成后,直接运行如下命令启动:
ollama run 你的模型名称
-
直接运行自动下载:
ollama run 模型名
直接执行run操作,ollama会先下载对应模型并直接启动,相对较方便。
😊 模型存放位置
至此,其实就可以简单使用命令行来和大模型对话了,但为了更好地用户体验我们需要OpenWebUI这样的前端交互界面。
OpenWebUI本地部署指南
⭐ 准备工作(10分钟,具体速度取决于网速)
1、安装Docker
-
Windows/Mac
-
- 访问 Docker官网 下载并安装 Docker Desktop。
-
Linux:使用以下命令安装 Docker
sudo apt-get update
sudo apt-get install docker.io
2、启动 Docker 服务
-
Windows/Mac
安装完成后,启动 Docker Desktop。
-
Linux
使用以下命令启动 Docker 服务:
sudo systemctl start docker
sudo systemctl enable docker
⭐ 部署 OpenWebUI(*15分钟,具体速度取决于网速*)
官网地址:https://docs.openwebui.com/
方法一:Docker版本快速部署
1、拉取 OpenWebUI 镜像
- 简易部署
打开终端(Windows用PowerShell),输入以下命令:
-
- 如果Ollama在您的计算机上,执行如下命令:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
-
- 若要运行支持Nvidia GPU的Open WebUI,执行如下命令效果更好:
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
-
与Ollama捆绑的开放式WebUI部署
-
- 使用GPU支持:通过运行以下命令来利用GPU资源启动OpenWebUI:
docker run -d -p 3000:8080 --gpus=all --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
-
- 仅适用于CPU:如果您没有使用GPU,请使用以下命令启动OpenWebUI:
docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
-
- 也可简易使用以下命令启 动 OpenWebUI 容器:
docker run -d -p 3000:8080 --name open-webui ghcr.io/open-webui/open-webui:ollama
2、参数解释
参数 | 作用 |
---|---|
-d | 后台运行容器(Detached模式),不阻塞终端。 |
-p 3000:8080 | 将宿主机的3000端口映射到容器的8080端口,访问http://localhost:3000 即可操作Web界面。 |
--gpus=all | 启用所有GPU资源加速推理(需NVIDIA显卡及Docker GPU支持)。 |
-v ollama:/root/.ollama | 挂载名为ollama 的卷到容器内路径/root/.ollama ,用于保存模型文件(避免容器删除后数据丢失)。 |
-v open-webui:/app/backend/data | 挂载名为open-webui 的卷到容器内路径/app/backend/data ,保存聊天记录等应用数据。 |
--name open-webui | 指定容器名称为open-webui ,便于后续管理(启动/停止:docker start/stop open-webui )。 |
--restart always | 容器意外退出时自动重启,保障服务持续可用。 |
ghcr.io/open-webui/open-webui:main | 使用的镜像地址及标签(ollama 标签表示适配Ollama后端)。 |
3、访问 OpenWebUI
-
打开浏览器,输入以下地址访问 OpenWebUI:
http://localhost:3000
UI界面展示:
点击“开始使用”,然后按照提示创建你的管理员密码
至此,属于你的本地AI大模型及前端WebUI界面就都部署好了。
方法二:Python版OpenWebUI部署
1、安装python11
为什么要装Python11而不是Python最新版本,这点官网有给出解释:
大致意思就是高版本还未通过彻底测试,当前建议使用Python11部署,本人亲测,高版本会报错,所以大家直接用Python11部署即可,我本地使用的是Python3.11.9,亲测可用,大家可参考。
访问如下Python官网历史版本下载链接进行下载:
https://www.python.org/downloads/release/python-3119/
注意: 这里有个小技巧,如果下载别的版本的Python可根据版本自行更改后缀,例如:下载python3.13.2,那就直接浏览器访问如下地址进行下载。
https://www.python.org/downloads/release/python-3132/
根据自己的电脑情况自行选择下载的版本,这里以Windows来举例,32位及64位对应的下载包如下图所示:
安全提示:
-
下载完成后校验一下当前安装包的MD5的值是否和上图对应的MD5保持一致,以Windows举例,可以调用系统命令查看安装包MD5:
-
- PwerShell方式验证
执行如下命令查看你本地文件的Hash值
Get-FileHash "你文件的绝对路径" -Algorithm MD5 | Format-List
演示示例如下图所示:
-
- CMD方式验证
执行如下命令查看你本地文件的Hash值
certutil -hashfile "你文件的绝对地址" MD5
演示示例如下图所示:
- 历史版本可能存在安全漏洞或潜在的Bug,个人本地部署影响不大,正式服务器环境部署大家酌情考虑。
2、 安装Open WebUI
打开终端命令行并运行以下命令:
pip install open-webui
3、启动OpenWebUI
安装后,使用以下命令启动服务器:
open-webui serve
4、更新OpenWebUI
要更新到最新版本,只需运行:
pip install --upgrade open-webui
执行第3步后我们耐心等待OpenWebUI启动即可:
如上图所示,命令行出现绿色时间及INFO标识的时候环境启动成功,Python方式启动默认绑定本地8080端口,所以这时访问:http://localhost:8080即可成功访问OpenWebUI,由于Docker版部署已经分享过首次登录注册方式,这里直接展示登录后的界面,如下图:
⭐ OpenWebUI对话演示
OpenWebUI会默认配置Ollama中的所有大模型,供用户选择,如下图:
用户可以随意切换自己想要的大模型来回答问题,当然,OpenWebUI也提供了可以控制大模型输出的各类参数,大家也可以根据自己的理解自行调整,例如让大模型回答的时候返回更多的描述,可调整如下图所示的参数,值越大,模型可返回文字越多:
如何零基础入门 / 学习AI大模型?
大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?
”“谁的饭碗又将不保了?
”等问题热议不断。
不如成为「掌握AI工具的技术人」
,毕竟AI时代,谁先尝试,谁就能占得先机!
想正式转到一些新兴的 AI 行业,不仅需要系统的学习AI大模型。同时也要跟已有的技能结合,辅助编程提效,或上手实操应用,增加自己的职场竞争力。
但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高
那么我作为一名热心肠的互联网老兵,我意识到有很多经验和知识值得分享给大家,希望可以帮助到更多学习大模型的人!至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费
】
👉 福利来袭
优快云大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈
全套AGI大模型学习大纲+路线
AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!
640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
👉 福利来袭
优快云大礼包:《2025最全AI大模型学习资源包》免费分享,安全可点 👈
这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费
】
作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。