【GPT入门】第52课 openwebui安装与使用

【GPT入门】第52课 openwebui安装与使用

1. openwebui是什么

官网: https://docs.openwebui.com/
官方介绍:

Open WebUI is an extensible, feature-rich, and user-friendly self-hosted AI platform designed to operate entirely offline. It supports various LLM runners like Ollama and OpenAI-compatible APIs, with built-in inference engine for RAG, making it a powerful AI deployment solution.
  • 官网介绍翻译

Open WebUI 是一个可扩展、功能丰富且用户友好的自托管人工智能平台,旨在完全离线运行。它支持多种大语言模型运行器,如 Ollama 和兼容 OpenAI 的 API,并内置了用于检索增强生成(RAG)的推理引擎,是一款功能强大的人工智能部署解决方案。

2.openwebui如何使用

  • 准备环境
    默认安装目录:
    conda create -n open-webui python==3.11
    指定数据盘目录,避免占用巨大的系统盘空间,导致磁盘空间不足:
    conda create --prefix /root/autodl-tmp/conda_envs/open-webui python=3.11

  • 安装
    source /etc/network_turbo (autodl服务器用于学术加速)
    pip install open-webui

  • 启动服务
    open-webui serve

  • auto中增加端口转发,端口是8080, 如果是本地电脑,不需要端口转发
    在这里插入图片描述

  • 打开webui
    http://localhost:8080/
    在这里插入图片描述

3.注意事项

如果是微调的llm,微调的llm可能与openwebui的不一致,并且就算部署时指定模板,openwebui会每次与模型交互式,强势刷新对话模板
用的对话模板:不是模型自带的

  • openwebui 查微调后的模型,回复会乱七八糟
    在这里插入图片描述
  • 问原始模型 qwen3.0b
    在这里插入图片描述
  • qwen3.0b下载方法
    在这里插入图片描述
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值