Ollama+Open WebUI：搭建本地私有化的 AI 应用平台，大模型入门到精通，收藏这篇就足够了！

基于 Ollama + Open WebUI，我们可以搭建部署本地私有化的 AI 应用平台。通过 Ollama 实现本地化大语言模型的运行管理，结合 Open WebUI 的交互界面、RAG 增强能力和多模型支持特性，形成集模型推理、应用开发、隐私保护于一体的私有化 AI 平台，适用于企业知识库、安全对话系统、离线智能助手等场景。

• Ollama 是一个开源的本地大语言模型运行框架，旨在让用户能够在本地计算机上轻松运行、管理和与大型语言模型（LLM）进行交互。Ollama 的设计目标是简化大型语言模型的本地部署和管理，适合开发者、研究人员以及对数据隐私有较高要求的用户
• Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 AI 平台，支持完全离线运行。它支持多种语言模型运行器，如 Ollama 和兼容 OpenAI 的 API，并内置了用于检索增强生成（RAG）的推理引擎，使其成为强大的 AI 部署解决方案。

本文在已部署安装 Ollama 的基础上，介绍 Open WebUI 的功能特性、安装步骤，初步搭建私有化的 AI 应用平台。 Open WebUI 的文档地址：https://docs.openwebui.com/，github项目为 https://github.com/open-webui/open-webui，目前已有 78.7 K stars，很火的 AI 应用项目。

Open WebUI 功能特性

Open WebUI 的功能丰富，涵盖大模型集成、用户权限控制、聊天对话、工具函数调用、RAG、网络搜索、图像生成、自定义管道（pipeline）等功能，十分强大！

• 🚀轻松安装：使用 Docker 或 Kubernetes（kubectl、kustomize 或 helm）无缝安装，支持 :ollama 和 :cuda 标签的镜像，体验无烦恼的安装过程。
• 🤝 Ollama/OpenAI API 集成：轻松集成兼容 OpenAI 的 API，可实现多样化的对话，同时支持 Ollama 模型。可自定义 OpenAI API URL，连接 LMStudio、GroqCloud、Mistral、OpenRouter 等。
• 🛡️ 细粒度权限和用户组：通过允许管理员创建详细的用户角色和权限，确保了一个安全的用户环境。这种细粒度的权限设置不仅增强了安全性，还允许定制用户界面，培养用户的归属感和责任感。
• 📱 响应式设计：在台式电脑、笔记本电脑和移动设备上享受无缝体验。
• 📱 移动设备的渐进式 Web 应用 (PWA)：通过我们的 PWA，在移动设备上享受类似原生应用的体验，提供离线访问 localhost 和流畅的用户界面。
• ✒️🔢 全面支持 Markdown 和 LaTeX：通过全面的 Markdown 和 LaTeX 功能提升 LLM 体验，实现更丰富的交互。
• 🎤📹 免提语音/视频通话：体验集成的免提语音和视频通话功能，允许更动态和互动的聊天环境。
• 🛠️ 模型构建器：通过 Web UI 轻松创建 Ollama 模型。创建和添加自定义角色/代理，定制聊天元素，并通过 Open WebUI 社区集成轻松导入模型。
• 🐍 原生 Python 函数调用工具：通过工具工作区中的内置代码编辑器支持增强您的 LLM。通过简单地添加 Python 函数，实现自定义函数（BYOF）与 LLM 的无缝集成。
• 📚 本地 RAG 集成：通过开创性的检索增强生成 (RAG) 支持，探索与 AI 聊天互动的前沿体验。此功能将文档交互无缝集成到聊天体验中。可以直接将文档加载到聊天中，或将文件添加到文档库中，使用 # 命令轻松访问它们。
• 🔍 RAG 的网络搜索：使用 SearXNG、Google PSE、Brave Search、serpstack、serper、Serply、DuckDuckGo、TavilySearch、SearchApi 和 Bing 等提供商进行网络搜索，并将结果直接注入到对话聊天体验中。
• 🌐 网络浏览功能：使用 # 命令后跟 URL，将网站无缝集成到您的聊天体验中。此功能允许您将网络内容直接融入对话中，增强对话互动的丰富性和深度。
• 🎨 图像生成集成：使用 AUTOMATIC1111 API 或 ComfyUI（本地）以及 OpenAI 的 DALL-E（外部）选项，无缝融入图像生成功能，为聊天体验增添动态视觉内容。
• ⚙️ 多模型对话：轻松地同时与各种模型互动，利用它们的独特优势获得最佳回应。通过并行利用多样化的模型集来提升体验。
• 🔐 基于角色的访问控制 (RBAC)：通过限制权限确保安全访问；只有授权人员可以访问您的 Ollama，模型创建/拉取权限仅限管理员。
• 🌐🌍 多语言支持：通过国际化 (i18n) 支持，支持以偏好的语言体验 Open WebUI。
• 🧩 管道，Open WebUI 插件支持：使用管道插件框架（https://github.com/open-webui/pipelines）将自定义逻辑和 Python 库无缝集成到 Open WebUI 中。启动您的管道实例，将 OpenAI URL 设置为管道 URL，并探索无限可能。示例包括函数调用、用户速率限制以控制访问、使用 Langfuse 等工具进行使用监控、使用 LibreTranslate 进行实时翻译以支持多语言、过滤有害信息等。
• 🌟 持续更新：致力于通过定期更新、修复和新功能来持续改进 Open WebUI。

安装步骤

Open WebUI 的安装步骤十分简单，支持 python pip 和 docker 两种安装方式。

通过 python pip 安装

1. 确保安装的 python 是 3.11 版本以上（3.11 以上版本的 python，可避免兼容性问题）
1. 运行 pip install open-webui 命令，进行安装。

pip install open-webui

1. 安装完成后，运行命令 open-webui serve，启动 Open WebUI 服务。

open-webui serve

通过 Docker 安装

1. 下载 docker 镜像。
  运行以下 docker 命令，下载 docker 镜像。

docker pull ghcr.io/open-webui/open-webui:main

1. 启动 Open WebUI 服务。
  若 Ollama 模型服务运行在同一台机器上，可运行以下 docker 命令，启动 Open WebUI 服务。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

若 Ollama 模型服务运行在不同的机器上，可通过 OLLAMA_BASE_URL 指定 Ollama 服务地址。

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main