1. Open-WebUI部署流程
首先需要安装Open-WebUI,官网地址如下:
https://github.com/open-webui/open-webui
直接使用在GitHub项目主页上直接下载完整代码包,并上传至服务器解压缩运行:
安装完成后先不启动,等其他相关组件安装完后再启动。
2. ollama安装部署
Open-WebUI原生支持使用Ollama调用本地模型进行推理,Ollama是一款大模型下载、管理、推
理、优化集一体的强大工具,可以快速调用各类离线部署的大模型。
Ollama官网:https://ollama.com/
- 【安装方案一】Ollama在线安装
在Linux系统中,可以使用如下命令快速安装Ollama
curl -fsSL https://ollama.com/install.sh | sh
但该下载流程会受限于国内网络环境,下载过程并不稳定。
- 【安装方案二】Ollama离线安装
因此,在更为一般的情况下,推荐使用Ollama离线部署。我们可以在Ollama Github主页查看目前
Ollama支持的各操作系统安装包:https://github.com/ollama/ollama/releases
若是Ubuntu操作系统,选择其中 ollama-linux-amd64.tgz 下载和安装即可。
下载完成后,需要先上传至服务器
然后使用如下命令进行解压缩
mkdir ./ollama
tar -zx