windows个人电脑基于Qwen3和Dify搭建的文档问答智能助手

本文在个人windws电脑上使用LM studio部署Qwen3,并将其集成到Dify中的chatflow搭建文档问答助手。主要应用如下

LM Studio:Qwen3 14b

Docker

Dify

目录

1. LM Studio本地部署Qwen3 14b

2.windows下载安装docker

3.下载Dify安装包

4.Dify创建智能应用

5.结果展示


1. LM Studio本地部署Qwen3 14b

下载Qwen3 14b模型,选择Developer模式和Serve on Local Network,其余配置如下

模型服务加载完成后可在git bash中用curl命令测试接口,以下是测试openai的非流式chat接口。ip和端口号可在lm studio中获取

curl http://192.168.0.xxx:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3-14b",
    "messages": [
      { "role": "system", "content": "Always answer in rhymes. Today is Thursday" },
      { "role": "user", "content": "What day is it today?" }
    ],
    "temperature": 0.7,
    "max_tokens": -1,
    "stream": false
}'

有结果返回可服务可用

developer log也打印了对应的log

2.windows下载安装docker

下载Docker:下载地址

3.下载Dify安装包

https://github.com/langgenius/dify

下载完成后进入docker文件夹,在此运行命令行终端

在命令行中执行docker,显示如下则docker安装成功

copy环境变量,这里使用example

cp .env.example .env

执行以下docker命令,在docker中启动dify

docker compose up -d

启动成功后可在docker客户端看到已经启动的容器

4.Dify创建智能应用

浏览器输入url,注册登录

http://localhost/signin

配置LM studio中的Qwen模型:在设置,模型供应商中安装

OpenAI-API-compatible

注意:此处不能选择LM studio,否则dify中会报错

validation error for LLMNodeData model.mode Field required [type=missing, input_value={'provider': 'stvlynn/lms...'completion_params': {}}, input_type=dict] For further information visit https://errors.pydantic.dev/2.11/v/missing

工作室创建空白应用,选择chatflow

部署以下服务

llm配置如下,助手设定为一个有着丰富教学经验的小学六年级数学老师

5.结果展示

直接发布运行,上传一篇文档,让大模型帮忙输出一篇教学设计,返回结果如下

直接输入prompt

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值