247.2k star! 超强大的私有化ChatGPT,支持图像识别/文生图/语音输入/文本朗读,个人电脑即可运行!试试吧

open-web UI 实用指南 open-web UI 类似于chatgpt的界面,可以私有化模型本地部署,也可以用商业模型.本文只是用开源模型. 它以实现多模态AI聊天 , AI 翻译 , 语音转文本, 文本转语音, 文生图,代码助手,可谓利器。 阅读详情

今天作者带大家实现一个普通配置电脑即可运行的私有化ChatGPT,支持以下功能:

1.界面体验与ChatGPT官方几乎一样。

2.支持多种开源模型,可以聊天、写代码、识别图片内容等。

3.支持文生图。

4.支持麦克风语音输入聊天。

5.支持自动朗读回答结果。

6.支持联网使用openai。

前5个功能拔掉网线也能正常使用。先看一下作者本地(16G内存无GPU)断网运行的聊天与图片识别效果:

文生图效果:

用到的开源项目(文末获取github地址):

1.界面:open webui,8.1k star,界面漂亮,功能丰富,我们本次主要用它将其他各开源项目组合起来。

2.大模型:ollama,44.8k star,支持使用CPU运行多种开源大模型,部署超级简单。

3.文生图:stable diffusion,124k star,最强开源文生图项目。

4.语音输入:openai开源的whisper, 57.1k star,CPU可用,效果可与收费产品比肩。

5.文本朗读:windows系统提供的接口,离线免费使用,后面有介绍。

6.接入openai:GPT_API_free, 13.3k star,免费的openai API key。

下面只有前两步为必须执行的,后面步骤根据自己需求决定是否执行。

1.部署大模型

这里就不演示了,不会的可以看看我关于部署的文章,ollama支持多种优秀开源大模型,可根据需求多下载几种,按需使用,官方支持的模型:https://ollama.com/library

2.部署界面

open webui不仅是一个聊天界面,还是一个ollama的客户端,还有很多其他功能,感兴趣可以去github看官方文档。使用docker一键部署:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

在这里插入图片描述

安装完成之后,浏览器输入http://localhost:3000,选择模型就可以开始聊天了。可以到设置界面的General中设置各种模型参数,到这一步已经实现一个基本的私有化ChatGPT了。

3.图片识别

先使用ollama下载llava模型,聊天时选择llava,发送图片即可。以下是作者测试的图片识别效果,连后面有多排座位,有些座位是空的都能准确识别出来!

在这里插入图片描述

4.语音输入

如果想使用语音输入功能,部署好之后,将STT引擎改为whisper(Local),在聊天输入框就可以点击麦克风图标输入语音了。

5.文生图

先本地部署stable diffusion(以下简称sd)

说明:sd需要GPU,但我看sd官方文档好像支持CPU,作者未验证。

接下来坑比较多,作者已解决,照做即可。

5.1 open-webui要调用sd的接口,因此sd要提供api,修改sd根目录中的webui.bat,增加以下代码

set COMMANDLINE_ARGS=--api

如图所示:

5.2 open-webui要调用sd的/sdapi/v1/options接口,但是这个接口报错,解决方案:sd根目录新建文件user.css,文件内容如下:

[id^="setting_"] > div[style*="position: absolute"] {`        `display: none !important;``}

5.3 双击webui.bat启动sd,进入open-webui的设置页面,按下图设置,注意:因为open-webui是在docker部署的,sd是在宿主机部署,open-webui调用sd接口相当于docker内部调用宿主机服务,所以在浏览器虽然用127.0.0.1:7860能访问sd,但是这里填写127.0.0.1是无法请求的,按图示内容填写,如果您的部署方式和作者不一样,请根据情况填写。

5.4 生成图片的按钮只在大模型回复的内容下面才会出现,并且会把回复的内容当成sd的prompt,因此想生成图片需要先选择一个模型,让模型把你想使用的promt回复给你,然后点击生成图片按钮,就可以生成了。

6.使用openai接口

感觉本地模型运行慢,有时候想用在线的OpenAI接口?没问题!可以参照这篇获取免费的API Key:13k star! 获取免费ChatGPT API Key的开源项目,亲测可用!然后按照下图配置。

配置后,模型选择列表中就会自动多出来几个openai模型,选择即可使用。

7.文本朗读功能

按下图设置即可开启朗读功能,聊天时收到完整响应后会自动朗读。

关于文本朗读的实现原理,前几天写了一篇免费使用TTS的文章:2.8k star! 用开源免费的edge-tts平替科大讯飞的语音合成服务,作者以为这个也应该是调用了某个在线的TTS服务,但是在console中看不到任何关于TTS的请求,后来查看源码才发现是用HTML5的Speech Synthesis API实现的,这个API可以调用Windows系统的TTS。以下是代码,可直接在浏览器的console中运行测试。

// 获取支持的声音列表speechSynthesis.getVoices()// 合成并播放语音const speak = new SpeechSynthesisUtterance("要播放的文字");// 选择用哪个声音speak.voice = speechSynthesis.getVoices()[0];// 执行这句就可以听到声音了``speechSynthesis.speak(speak);

以下是测试截图:

利用这个API可以实现免费、离线的TTS功能。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】
OpenWebUI 接上语音对话功能 是一个模仿 OpenAI API 接口的文本转语音服务。在可以自定义接口 URL 的场景中(比如 Open WebUI),它可以直接替代 OpenAI 的语音服务。该项目使用包,通过调用 Edge 浏览器的免费"朗读"功能来模拟 Microsoft/Azure 的请求,从而免费提供高质量的文本转语音服务。 阅读详情

相关推荐

【LLM】局域网内为容器服务启用HTTPS

OpenWebUI中,语音输入需要HTTPS才能使用麦克风等硬件资源,在局域网中通过NGINX转发实现HTTPS访问。

整天都在摸鱼鱼 2465

Open-WebUI 与 ComfyUI 集成实现文生图

ComfyUI 是一个开源的、基于节点的程序,主要用来根据提示词生成图像。它利用诸如 Stable Diffusion 这样的免费扩散模型作为基础,通过图形用户界面(GUI)让用户能够以一种更加直观和灵活的方式操作和管理图像生成的过程。工作原理ComfyUI 基于节点架构运作,界面元素被表示为相互连接的节点。每个节点都封装了特定的功能或行为,通过调整模块连接可以达到不同的出图效果。用户可以通过连接不同的节点来构建自己独特的图像生成工作流,就像为 AI 生成的图像构建一个视觉图谱。

m0_71745754的博客 6236

实战3:基于文生图模型的图像生成服务实战(附工具与Prompt实操)

近年来,AIGC(人工智能生成内容)技术快速发展,其中图像生成模型如 DALL·E、Stable Diffusion、Midjourney 等表现出强大的图像合成能力。许多企业和开发者开始基于此类工具进行图像内容生产,应用于插图创作、电商设计、角色设定等多个场景。本篇文章将从开发者角度出发,围绕如何从零搭建一个“图像生成服务”,介绍常用工具、Prompt编写技巧、交付流程以及注意事项,帮助读者掌握一套完整的 AI 生图实战思路。自主可控,可本地部署(适合有一定硬件基础的开发者)

zyh252609的博客 923

本地部署属于自己的大语言模型和图文识别模型

open-webui github地址:GitHub - open-webui/open-webui:用于 LLM 的用户友好型 WebUI(以前称为 Ollama WebUI)新建容器,端口设置11434与之后的chatbot-ollama保持一致。success后进入网址: http://localhost:3000/2.docker 配置:setting->Docker Engine。自动拉取Llama 2-chinese模型。5.2安装open-webui。在ollama容器内输入。

weixin_42759398的博客 4471

MaxENT生态位模型实战:从数据准备到论文发表的完整指南

本文提供MaxENT生态位模型从数据准备到论文发表的完整实战指南,涵盖物种分布数据处理、环境变量筛选、参数优化及结果可视化等关键步骤。特别介绍如何通过R语言进行高级建模优化,提升模型AUC值,并分享海洋生物专题研究中的数据处理技巧。适合生态学研究者快速掌握这一强大的物种分布预测工具,产出高质量研究成果。

tensor9flow的博客 304

yolov5深度剖析+源码debug级讲解系列(一) yolov5的架构和源码debug准备

前言 前段时间分析了yolov3的源码,这次想带着小伙伴一起把yolov5完全掌握。博主还是保持着一贯的风格,依旧采用debug级别的源码剖析。目的就是让大家可以通过一个系列的文章就把yolov5的架构、设计理念和每一行源码都弄懂。只要小伙伴可以花时间把这个系列读完,就会对yolov5的理解有所提升。 去年参加了kaggle的小麦检测比赛,yolov5在比赛的中段开始呈现霸榜趋势,超越了efficientdet。虽然最后yolov5因为权限等某些问题被kaggle官方禁用了,但是仍然体现出了其强大的能力。值

人唯优的博客 4万+

在windows下使用本地AI模型提供翻译、对话、文生图服务

OllamaOllluma全面兼容MacOS、Linux和Windows系统,它提供简洁的一键式本地模型部署流程,并将API功能统一转换至与OpenAI相匹配的标准格式,旨在为您带来无缝且高效的使用体验。Docker Desktop 是一个由 Docker Inc. 开发的桌面应用软件,用于在 Windows、macOS 和 Linux 操作系统上运行本地容器。它提供了一种简单且易于使用的界面来启动和管理 Docker 容器,并提供了对一些常用工具(如 Kubernetes)的支持。

omnibots的博客 8255

图像配准(Image Registration)——深度学习方法

参考:https://www.cnblogs.com/carsonzhu/p/11188574.html

m0_46483236的博客 4万+

OpenWebUI(1)图像集成——deepseek+comfyUI文生图搭建

openwebui+deepseek+comfyUI搭建文生图效果

1533

LEF文件介绍及其生成

介绍LEF文件及其生成方法

weixin_43249158的博客 3万+

IBM AC922 8335-GTW 安装linux,CentOS,ubuntu,RHEL各种坑

AC922

u011970286的专栏 904

247.2k star! 超强大的私有化ChatGPT,支持图像识别/文生图/语音输入/文本朗读,个人电脑可运行!

今天作者带大家实现一个普通配置电脑即可运行的私有化ChatGPT,支持以下功能:1.界面体验与ChatGPT官方几乎一样。2.支持多种开源模型,可以聊天、写代码、识别图片内容等。3.支持文生图。4.支持麦克风语音输入聊天。5.支持自动朗读回答结果。6.支持联网使用openai。前5个功能拔掉网线也能正常使用。先看一下作者本地(16G内存无GPU)断网运行的聊天与图片识别效果:1.界面:open webui,8.1k star,界面漂亮,功能丰富,我们本次主要用它将其他各开源项目组合起来。

qq_46094651的博客 1730

ANSYS 2026 R1 Windows系统安装避坑指南:环境配置、模块部署与许可证实战

ANSYS作为主流CAE仿真平台,其安装部署已远超传统软件范畴,演变为涉及操作系统底层、GPU驱动兼容性、许可证微服务架构和统一缓存机制的系统工程。理解ANSYS安装原理,需从Windows 11 UEFI安全启动要求、DirectX 12 Ultimate图形栈依赖、gRPC架构的License Manager端口动态分配等核心机制切入;技术价值在于保障HFSS GPU加速、Fluent MPI并行稳定性及Workbench多模块协同可靠性;典型应用场景涵盖高校仿真实验室升级、工业设计院所平台重建及高性能

weixin_29251337的博客 1438

AIGC大模型之——以文生图介绍

二是种子(作用是生成噪声图),固定的种子和固定的分辦率生成的噪声图是固定的,模型以这个为基础进行图片生成。(4)专业设计:将AI作画与专业领域的知识相结合,如3D建模、医疗、工业设计、建筑设计、教育等,先由Al根据提示制作粗略的草图,再由专业人员完成后续工作。(2)广告创意:快速生成各种类型的广告和宜传素材,也可以根据用户的需求生成个性化的广告,缩短制作成本和时间。(2)图像定制:用户可以选择不用的颜色,字体,背景,作画风格等,定制自己喜欢的图像。,一个完全开源的模型( 代码,数据,模型全部开源)。

yamgyutou的博客 1万+

vLLM专题(七)-支持的模型列表

vLLM支持跨多种任务的生成式和池化模型。如果一个模型支持多个任务,您可以通过–task参数来设置任务。对于每个任务,我们列出了已在vLLM中实现的模型架构。每个架构旁边,我们列出了一些使用该架构的流行模型。

1261

1. BES2700ZP概述

恒玄BES2700采用RTX5操作系统,配合mindmics算法或者自研算法。

雪飞_海 4476

强大的文生图软件

这是一个利用Gradio库实现的的Web界面。

weixin_42684490的博客 2210

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

AI 文生图快速入门教程:让 Stable Diffusion 更易于上手

Stable Diffusion 是一个强大的 AI 图像生成工具,但它可能会消耗大量资源。在本指南中,我们将学习如何使用来设置它。同时,我们将在上运行它,通过 H100 GPU 来提供最好的计算性能。而且通过 DIgitalOcean 的 GPU 云服务器可以让这个开发过程变得足够简单,即使你不是技术专家,也不用担心——只需跟随操作即可轻松实现!

了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识,以及DigitalOcean云平台使用教程 1365

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

【用Deepseek搭建免费的个人知识库–综合教程(完整版)】番外篇:open-webui配置语音回复功能让Deepseek-r1的回复更加动听。

我们使用官方推荐的Edge-tts在服务器上配置一下,就能实现非常快速响应的语音朗读它的回复。 打开服务器的宝塔面板,找到docker管理器,如果没有也可以在命令行创建:

qq_42944545的博客 2098

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

本地部署多模态大模型,结合Open-WebUI和Dify实现多模态对话、智能体!

今天,给大家介绍一下如何在个人电脑上通过Ollama和OpenWeb-UI搭建一个属于自己的多模态大模型,能够结合本地知识库进行智能问答、图像分析等,并结合Dify构建本地的智能体。支持Windows、macos、Linux。

2401_82469710的博客 4702

本地部署多模态大模型,并结合Open-WebUI和Dify实现多模态对话、智能体,保姆级!

Ollama是一个开源框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。Open WebUI(前身为Ollama WebUI)是一个专为大型语言模型(LLM)设计的可扩展、功能丰富且用户友好的自托管Web管理工具,旨在为用户提供直观、高效的大模型交互体验。本文主要介绍了如何在本地安装Ollama、Open-WebUI,并介绍了Open-WebUI、Dify结合Ollama的一些玩法,还有更多高阶功能等待你去探索。

Everly_的博客 9088

文生图项目总结

采用父盒子 flex:center,内层盒子居中显示:横图可以,超高竖图顶部会有遮挡;所以判断竖图就定义宽90%,高度auto根据图片比例动态计算宽高,动态设置内层盒子的宽高;盒子里放图片和文字假如是9:16 的图片,固定一个高度,计算固定宽度;其他比例宽度为手机屏幕宽度,高度计算。

xiaoququ的博客 1540

Open WebUI使用Ollama的Deepseek和ComfyUI的Flux进行图片生成

Open WebUI配置情况如下,填写ComfyUI基础地址,再上传上述workflow.json,然后填写工作流节点。系统提示词:你只给出flux生成一张图片的提示词,要求提示词用英文,你的回答只需要给英文提示词,不需要其他多余的话。1⃣️ 本教程已搭建Open WebUI、Ollama、ComfyUI环境。2⃣️ Ollama已安装Deepseek-r1:32B模型。实现目标:使用DeepSeek+Flux生成质量较高的图片。输入对话:画一张赛博朋克风格的城市图片。然后点击下图所示的“生成图片”图标。

m0_56011057的博客 1981

【人工智能-前端OpenWebUI】--图表显示

本文介绍markdown格式的表格显示

zishuijing_dd的博客 788

Ollama+Open WebUI+AUTOMATIC1111实现LLM+SD生成图片

本篇我们主要介绍如何在open webui中调用automatic1111的api来。

迪之的博客 5468
上一篇: 部署私有化大模型ollama,造一个私人小秘书
下一篇: [书籍推荐] 一书让你进入大语言模型的世界之《大语言模型综述》附pdf
AI_小站
博客等级 码龄3年 6255粉丝 1154原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值