本地ragflow配置lmstudio模型

我在对比ragflow和dify两个知识库做对比,在配置的问题上又又又又折腾了半天。

遇到的问题诸如:

1.RAG通过修改.env文件下载完整发行的ragflow版本

2,ragflow与dify的docker安装容器冲突端口冲突等问题。

解决方法:本人计算机知识黑洞有方案看不懂,一通折腾通过修改docker-compose-base文件的端口,删除重构容器得到解决ragflow和dify冲突的问题。

dify修改端口+部署的方法:

Windows系统下用docker本地部署Dify_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1f2SdYXEKz/?spm_id_from=333.1387.upload.video_card.click&vd_source=e0e4e4122d077cc783600ddc34cdbd00https://www.bilibili.com/video/BV1f2SdYXEKz/?spm_id_from=333.1387.upload.video_card.click&vd_source=e0e4e4122d077cc783600ddc34cdbd00

docker compose --project-name dify -f docker-compose.yaml up -d

ragflow的部署看这篇:

RAG 实践指南:使用Ollama与RagFlow构建本地知识库_ragflow ollama-优快云博客https://blog.youkuaiyun.com/2401_85390073/article/details/142887306https://blog.youkuaiyun.com/2401_85390073/article/details/142887306

docker compose --project-name ragflow -f docker-compose.yml up -d

冲突BUG的解决方法:

实测有效!一台服务器上同时启动Dify和Ragflow时,redis容器冲突解决方法。_ragflow 和 dify 同时安装-优快云博客

dify部署的两个坑--亲测解决自定义web端口和知识库文档数据集排队问题_dify 知识库 排队中-优快云博客

3.进入修改端口后的页面,默认为http://localhost:80

选择头像来到模型提供商,找到lm studio添加模型

同时打开lmstudio,切换到开发者模式,来到开发者,点击running

我第一次点击提醒报错:Error starting server Error: listen EACCES: permission denied 0.0.0.0:1234

表示1234这个端口被占用了,无法启动,lm一个很好的地方是,它直接点开settings就可以修改端口,我这里随便切了能用的端口,成功开启后,点击最上方的加载模型,把你想要在ragflow用的模型加载进来。

LM服务启动请见:

以服务 (headless) 模式运行 LM Studio | LM Studio 文档 - LM Studio 应用程序

LM模型下载请见:https://lmstudio.ai/model/

4.切换回ragflow页面

模型类型选择chat

模型名称和基础url复制lm开发者页面的api usage

LM的更多接口请看:LM Studio REST API (beta 版) | LM Studio 文档 - LM Studio 应用程序

5.我也尝试也ollama模型的输入发现遇到了102的报错例如:102 Fail to access model(Smegmma-9B-v1g-Q4_K_M).'NoneType' object is not subscriptable

这篇文章提到了,针对ollama102的端口问题解决如下:【RAGFlow】“提示 : 102 Fail to access model(qwen2.5:14b).**ERROR**: [Errno 111] Connection refused” 的解决_fail to access model(qwen2:7b).**error**: [errno 1-优快云博客文章浏览阅读3.0k次,点赞7次,收藏9次。出现这个问题,一般是因为我们的RAG搭建在容器里面,如果没有做端口穿透的话,RAG就会尝试访问容器内的11434端口,从而造成访问失败。(这里可以任意修改你喜欢的端口号),冒号前保持为空相当于在所有IPv4和IPv6地址上监听。再次访问Ollama地址,看看是不是可以用了,你也可以用宿主机IP作为访问IP试一下。首先,我们需要更改Ollama的端口监听,使其在所有域名上都生效。首先确认Ollama可以正常访问:127.0.0.1:11434。退出Ollama:右下角Ollama→quit。_fail to access model(qwen2:7b).**error**: [errno 111] connection refusedhttps://blog.youkuaiyun.com/LegendNoTitle/article/details/143680353https://blog.youkuaiyun.com/LegendNoTitle/article/details/143680353https://blog.youkuaiyun.com/LegendNoTitle/article/details/143680353https://blog.youkuaiyun.com/LegendNoTitle/article/details/143680353

不过我这里没有修改端口,而使用的是另外一个方法,基础url不填写IP地址,而填写下面这个也能成功

http://host.docker.internal:11434

7.待解决的问题:如何提高模型准确度?

后续搭建知识库啥的,网上教程千篇一律,自行查看吧,关于RAG准确度有空再研究研究

其他:导入模型 | LM Studio 文档 - LM Studio 应用程序

【RAGFlow】“提示 : 102 Fail to access model(qwen2.5:14b).**ERROR**: [Errno 111] Connection refused” 的解决_fail to access model(qwen2:7b).**error**: [errno 1-优快云博客

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值