window系统下使用open-webui+ollama部署大模型

        前面一篇博文中讲述了window下用ollama+AnythingLLM部署本地知识库,但是个人感觉anythingllm不是很好用,还不如直接用cmd窗口,而且仅能本机使用,如果想部署到服务器上面供其他人访问,完全不可行,但是使用open-webui+ollama或者独立的open-webui救可以实现。

        使用open-webui部署,其实也可以不用ollama,因为open-webui里面本身支持从huggingface里面直接下载,或者下载后放到指定目录即可使用,但是有一个确定就是,访问huggingface需要“科学上网”工具才能进行访问,一般来说部署在服务器上面,出于安全考虑,都是不建议的,同时为了没有“科学上网”工具的读者也可以实现,所以下面将分别讲解open-webui单独使用和+ollama使用的方式。

  1、open-webui部署

                要在windows系统部署open-webui,首先要安装conda来设置虚拟环境,当前带有交互界面的有anaconda和minconda,下面将使用anaconda来部署虚拟环境。

       首先要从anaconda官网Download Anaconda Distribution | Anaconda下载安装文件,然后进行安装(安装一般都是下一步、下一步,如果有疑问,可以直接搜索anaconda,查看前人(此处给一个例子:Anaconda安装-超详细版(2023)_anaconda安装教程-优快云博客)已经写好的步骤即可,此处不在赘述),安装好后直接在开始界面点击下图所示功能运行(启动过程可能因为硬件问题会有点慢)

### 部署 OllamaOpen WebUI 的环境准备 为了在本地环境中成功部署OllamaOpen WebUI,确保计算机满足最低硬件要求并已安装必要的软件依赖项[^1]。 - **操作系统**: 支持Windows、macOS以及Linux。 - **Python版本**: 推荐使用Python 3.8以上版本。 - **其他工具**: 安装Docker以简化容器化应用的管理和部署过程;Git用于克隆项目仓库。 ### 下载与配置 Ollama 及其关联组件 获取最新版Ollama源码或二进制文件,并按照官方文档指示完成初步设置工作。对于希望快速上手的新用户来说,利用预构建镜像可能是最便捷的方式之一。 ```bash git clone https://github.com/ollama-project/ollama.git cd ollama docker-compose up -d --build ``` 上述命令会自动拉取所需资源并启动服务端口监听于`localhost:7860`处等待进一步指令。 ### 构建及运行 Open WebUI 应用程序 接着转向前端部分——即图形化的交互平台建设: #### 获取代码库 前往指定页面下载对应分支下的压缩包或是直接运用Git客户端执行如下操作来同步远程仓库至本地磁盘内: ```bash git clone https://github.com/open-webui/webui.git ``` #### 修改默认参数设定 编辑位于根目录下名为`.env.example`的环境变量定义文件(可根据实际情况调整),重命名为`.env`以便生效: ```plaintext PORT=3000 OLLAMA_API_URL=http://localhost:7860/api/v1/ SECRET_KEY=some_random_string_here DEBUG=True ALLOWED_ORIGINS=localhost,127.0.0.1 ``` 此处特别注意API接口路径需指向先前已经激活的服务实例位置[^2]。 #### 启动Web应用程序 确认所有前置条件均已妥善处理完毕之后,切换到项目所在的工作空间里边去触发下列脚本从而开启HTTP服务器进程供外部访问连接之用: ```bash npm install && npm run dev ``` 此时应当能够在浏览器中通过访问`http://localhost:3000`看到预期中的登陆界面了。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值