简介:这里采用了open webui作为交互界面。
ollama:运行大语言模型的工具
open-webui:调用Ollama的图形界面
Docker:运行open-webui的工具
1、安装python3.11.8版本(python官网:Welcome to Python.org)
选择适合自己电脑的版本下载、配置。
2、安装open-webui库:
打开命令行(CMD)输入:
pip install open-webui
可以参考open-webui的github:
GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...)
3、安装docker(官网:Docker: Accelerated Container Application Development)
选择适合自己电脑的版本下载、安装。
4、配置环境:
a\控制面板(调整成小图标)-程序和功能-启用或关闭Windows功能(左栏):
弹出如下窗口,将“windows虚拟机监控程序平台”勾选上(说明:如果是win11专业版,还要勾选“hyper-v”)
b\(如果Ollama在您的计算机上,请使用此命令:)
在终端中输入:(结果如下图所示,会加载一些东西)
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
5、快速启动:
打开docker
直接在将“localhost:3000”以网页形式打开(会加载一段时间)/或者:点击docker中的“3000:8000”即可直接进入
calhost:3000”以网页形式打开(会加载一段时间)
完成创建管理员账户/登录操作之后,进入如下界面:
6、个人知识库
点击左栏“工作空间”,右侧在知识库菜单下可以添加文件集,在不同文件集中可以分别上传不同内容类型的文件。
在对话框,输入#,可以调用不同的文件集/文件用于对话问答:
以下是有无添加文件集的问答情况:
未添加:
添加:
7、其余简单介绍:
在对话栏左上方,可以换模型(会自动识别本地的模型):
在左栏下方,点击头像,再点击管理员面板,可以进入设置(直接点击的设置是另一个设置):
直接点击设置(如下图):
点击右上角设置按钮(对话高级设置),可以进行参数的微调和输入系统提示词:
------------------------------------------------------------------------------------------------
下面是部署过程中一次失败的例子,该例子中不能上传文件,只能进行基础对话:
安装后,使用以下方式启动服务器
打开命令行(CMD)输入:open-webui serve
另打开一个命令行(CMD)输入:ipconfig,找到ipv4地址。把“ipv4地址:8080”或者“localhost:8080”以网页形式打开。
当终端显示如下时,即连接成功:(此时网页可能白屏一会,请耐心等待;如果浏览器中显示‘网页出错了’可以刷新一下,看是否终端如下图)
但此时可能出现”文件无法上传“的情况(如下图所示):
------------------------------------------------------------------------------------------------