手把手Windows本地部署FastGPT,包含ASR、LLM、TTS完整配置,大模型入门到精通,收藏这篇就足够了!

最近需要本地部署FastGPT进行调研,借机整理下安装步骤。

本文适合场景:在Windows环境快速部署FastGPT,特别是需要配置上语音识别ASR模型(支持语音输入)、常见大语言模型、语音合成TTS模型(支持语音输出)。

主要步骤:

  1. Windows上安装Linux子系统WSL,原因是FastGPT需要使用docker方式进行安装,WSL让你在Windows上的Linux子系统直接操作docker,进行各种镜像安装。
  2. Windows上安装Docker Desktop。
  3. Linux子系统上使用docker安装FastGPT,如果你有Linux系统,忽略前面1、2步直接从这步开始。
  4. FastGPT上配置各种模型。

一、安装WSL

Windows版本要求:Windows 10 版本 2004 及更高版本(内部版本 19041 及更高版本)或 Windows 11。

右键“以管理员身份运行” 打开PowerShell ,输入如下命令,然后重启电脑:

wsl --install

该命令将在Windows系统上默认安装Ubuntu操作系统。当然可以安装其他版本的Linux,例如Debian,或者Windows版本太旧需要在安装前执行额外命令,这些情况不是本文重点,详细按照文档请参见资料[1]。

安装后,在运行中搜索Ubuntu,可看到已经安装好,打开可直接进入了Ubuntu系统的命令行。


神奇的是,能直接在Windows资源管理器中直接操作Linux的文件目录,在Windows命令窗口中执行Linux命令,也可在Linux中执行Windows命令,例如用notepad.exe打开文件。

到此,Linux系统已就绪,本文假设你有基本的Linux操作经验。

二、在Windows上安装Docker Desktop

FastGPT需要使用docker进行安装,在Windows上安装Docker Desktop后,直接能在WSL Linux环境中执行docker各种操作,结果在Windows和Linux中都能看到。安装过程就是一个普通的Windows软件安装。

  1. 从https://www.docker.com/下载Windows版安装包;

  1. 执行安装,在安装过程中,确保勾选 “Enable the WSL 2 based engine”。

  2. 安装后,打开Docker Desktop,确保下面两个选项是勾选了的。

进入Linux命令行中,执行"docker --version"能看到具体的版本信息,表示已经安装成功。

三、安装FastGPT

以下操作均在Linux命令行中执行。

  1. 下载配置文件config.json

使用wget从github下载:

wget https://raw.githubusercontent.com/labring/FastGPT/refs/heads/main/projects/app/data/config.json

  1. 下载配置文件docker-compose.yml

针对使用不同的知识库向量数据库,下载不同的文件,PgVector适合知识库索引量在 5000 万以下,Milvus适合亿级以上的索引量(知识数据条数)。

此处我们以使用PgVector为例,下载保存文件名为docker-compose.yml,命令如下:

wget https://github.com/labring/FastGPT/blob/main/deploy/docker/docker-compose-pgvector.yml -O docker-compose.yml

  1. 配置docker下载的镜像

为了能顺利从从国外下载FastGPT及其依赖的镜像,需要配置国内的镜像源,创建/etc/docker/daemon.json,并加入如下内容(需要有root权限或者sudo权限):

{
“registry-mirrors” : [“https://docker.registry.cyou”,
“https://docker-cf.registry.cyou”,
“https://dockercf.jsdelivr.fyi”,
“https://docker.jsdelivr.fyi”,
“https://dockertest.jsdelivr.fyi”,
“https://mirror.aliyuncs.com”,
“https://dockerproxy.com”,
“https://mirror.baidubce.com”,
“https://docker.m.daocloud.io”,
“https://docker.nju.edu.cn”,
“https://docker.mirrors.sjtug.sjtu.edu.cn”,
“https://docker.mirrors.ustc.edu.cn”,
“https://mirror.iscas.ac.cn”,
“https://docker.rainbond.cc”,
“https://do.nark.eu.org”,
“https://dc.j8.work”,
“https://dockerproxy.com”,
“https://gst6rzl9.mirror.aliyuncs.com”,
“https://registry.docker-cn.com”,
“http://hub-mirror.c.163.com”,
“http://mirrors.ustc.edu.cn/”,
“https://mirrors.tuna.tsinghua.edu.cn/”,
“http://mirrors.sohu.com/”
],
“insecure-registries” : [
“registry.docker-cn.com”,
“docker.mirrors.ustc.edu.cn”
],
“debug”: true,
“experimental”: false
}

  1. 使用docker命令安装FastGPT

运行命令"docker-compose up -d"即可,docker根据docker-compose.yml内容自动下载FastGPT及其依赖的镜像进行安装,完成后如下:

这时到Docker Desktop界面中,能看到容器列表中已经有fastgpt:

点进去能看到具体安装的镜像列表,例如上面说的PgVector向量数据库等。

  1. 访问FastGPT

此时,FastGPT默认已经启动,在Windows命令行通过ipconfig查看WSL的ip地址,通过端口3000即可访问,默认用户名root,密码1234。

四、模型配置

任何一个应用或者工作流都需要配置好模型,主要包括:

  • 大语言模型
  • Embedding模型(用于知识库)
  • 重排模型(用于知识库)
  • ASR语音识别模型(用于接受实时语音输入识别)
  • TTS语音合成模型(用于把文字转为语音输出)

这些模型可以是本地部署的,也可是是远程的,只要通过API方式可被FastGPT调用即可。

如果使用过Dify,配置很简单,只要在管理后台选择对应的模型厂商,配置上调用的URL、API key即可。

FastGPT比Dify的配置略为复杂,支持两种方式:AI Proxy和One API。两者都是OpenAI 标准接口的管理 & 分发系统,可以通过标准的 OpenAI API 格式访问所有的大模型。

其中AI Proxy适合你已经有阿里百炼、硅基流动等厂商的用户账号的情况,阿里就是是Proxy代理角色,配置好账号后就能直接使用他们提供的一系列模型。若使用One API需要安装一个One API应用,在里面配置上各种模型,供FastGPT使用。

1、配置AI Proxy渠道

本文我使用AI Proxy方式,我已有了阿里百炼、硅基流动的API key,直接配置使用(关于如何申请API key就不说了)。

在模型渠道中新建渠道,协议类型选择阿里云,模型选择自己要使用的模型,例如大模型使用qwen-long,多模态模型使用qwen-vl-max,embedding模型使用text-embedding-v4等,代理地址默认就是对的,API密钥填上自己申请的API key。

ASR和TTS我使用硅基流动的模型,配置如下,模型选择SenseVoiceSmall、CosyVoice:

配置完渠道后长这样:

  1. 启用模型

到模型配置中,通过模型提供商(阿里、硅基流动等)和模型类型(语言模型、语音识别等)过滤刚才选择了的模型,点击启用,可以点右边的“模型测试”就行测试,上面会显示测试结果。测试如果失败,可能是你的渠道配置、API key有问题。

五、使用案例

一切已经就绪,可以创建应用和工作流了,下面是一个简单工作流的例子,FastGPT本身的使用方法不是本文的重点。

我们使用FastGPT已有的模版创建一个“生活达人”工作流,如果问菜谱相关的问题,使用大模型回答,否则不做解答,支持ASR语音实时输入和TTS语音输出。

ASR和TTS设置如下:

语音输入会直接使用上面已配置好的ASR模型。

语音合成这里选择了上面配置的TTS模型,可选择不同的人物对应的音色。

下面可以开始运行上述工作流,我们首先使用文字输入:

接下来使用语音输入,你很有可能会遇到“您的浏览器不支持语音输入”的错误,原因是浏览器出于安全考虑,默认需要用域名访问的URL才支持语音输入,而刚才我登录FastGPT使用的是ip。

解决方法:上面我们使用的ip访问的FastGPT,如果能使用localhost就没这个问题,但Windows本身的ip和Linux子系统的ip不一致,如果用localhost,访问的是Windows而不是Linux,所以需要让两个系统的ip地址一致。具体方法是在Windows当前用户的目录创建个.wslconfig文件,加入内容如下:

然后重启WSL,重启docker和FastGPT,通过http://localhost:3000访问就可以了。

六、必须说的几件重要的事

  1. 在Windows上不管是玩FastGPT、Dify还是其他平台,确实只是玩玩而已,真正要在生产环境用,肯定还是要在Linux服务器上,用户数多的还要集群、负载均衡、各种备份。

  2. FastGPT分为开源社区版和商业版、云服务版。社区版也只是玩玩而已,只要需要在公司多用户使用,就会涉及用户、权限管理,以及和其他系统的SSO单点登录等,就需要商业版才能满足了。

  3. 刚才用localhost解决浏览器支持ASR也是权宜之计,正常生产环境需要正式的域名并且配置上https等。

  4. 安装FastGPT的时候,docker-compose.yml中完全使用的默认值,包括数据库用户名和密码等,实际环境中需要改为安全的值。

参考资料:

[1]. WSL安装官方文档:https://learn.microsoft.com/zh-cn/windows/wsl/install

[2]. FastGPT官方文档:https://doc.fastgpt.io/docs/introduction

我们该怎样系统的去转行学习大模型 ?

很多想入行大模型的人苦于现在网上的大模型老课程老教材,学也不是不学也不是,基于此我用做产品的心态来打磨这份大模型教程,深挖痛点并持续修改了近100余次后,终于把整个AI大模型的学习门槛,降到了最低

在这个版本当中:

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲,跟着我做即可,为了让学习的道路变得更简单,这份大模型教程已经给大家整理并打包分享出来, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁:全网最全《LLM大模型学习资源包》免费分享(安全链接,放心点击)👈

一、大模型经典书籍(免费分享)

AI大模型已经成为了当今科技领域的一大热点,那以下这些大模型书籍就是非常不错的学习资源

在这里插入图片描述

二、640套大模型报告(免费分享)

这套包含640份报告的合集,涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、大模型系列视频教程(免费分享)

在这里插入图片描述

四、2025最新大模型学习路线(免费分享)

我们把学习路线分成L1到L4四个阶段,一步步带你从入门到进阶,从理论到实战。

在这里插入图片描述

L1阶段:启航篇丨极速破界AI新时代
​​​​​​​L1阶段:我们会去了解大模型的基础知识,以及大模型在各个行业的应用和分析;学习理解大模型的
核心原理、关键技术以及大模型应用场景。

在这里插入图片描述

L2阶段:攻坚篇丨RAG开发实战工坊

L2阶段是我们的AI大模型RAG应用开发工程,我们会去学习RAG检索增强生成:包括Naive RAG、Advanced-RAG以及RAG性能评估,还有GraphRAG在内的多个RAG热门项目的分析。

在这里插入图片描述

L3阶段:跃迁篇丨Agent智能体架构设计

L3阶段:大模型Agent应用架构进阶实现,我们会去学习LangChain、 LIamaIndex框架,也会学习到AutoGPT、 MetaGPT等多Agent系统,打造我们自己的Agent智能体。

在这里插入图片描述

L4阶段:精进篇丨模型微调与私有化部署

L4阶段:大模型的微调和私有化部署,我们会更加深入的探讨Transformer架构,学习大模型的微调技术,利用DeepSpeed、Lamam Factory等工具快速进行模型微调;并通过Ollama、vLLM等推理部署框架,实现模型的快速部署。

在这里插入图片描述

L5阶段:专题集丨特训篇 【录播课】

在这里插入图片描述
全套的AI大模型学习资源已经整理打包,有需要的小伙伴可以微信扫描下方二维码免费领取

👉优快云大礼包🎁:全网最全《LLM大模型学习资源包》免费分享(安全链接,放心点击)👈

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值