- 博客(21)
- 收藏
- 关注
原创 【Ragflow】 助理配置参数详细解析/模型响应加速方法
Ragflow的助理配置中,有很多参数,尽管官方文档给出了一定程度的解释,但不够详细。本文将对各项参数进行更详细的解释说明,并进一步挖掘某些参数中隐含的潜在陷阱。
2025-04-11 14:45:25
598
原创 知识库最强检索增强生成技术:GraphRAG
比如,如果问题要求对整个文档或者多篇文档的主题进行总结和理解,基线RAG的简单向量检索方法可能无法处理文档之间的复杂关系,导致对全局语义的理解不完整。DRIFT搜索:结合局部搜索和社区信息,提供更为准确和相关的答案,是局部搜索的增强引入了社区信息的上下文,从而提供更深入的推理和连接。1.基线RAG很难将信息串联起来:当一个问题的答案需要通过多个不同的信息片段,并通过他们共享的属性来连接,进而提供新的见解时,基线RAG表现会很差。每个实体用节点表示,节点的大小和颜色分别代表实体的度数和所属社区。
2025-04-10 11:49:17
328
原创 docker同时部署dify和ragflow注意事项
RAGFlow 对资源要求较高(CPU ≥4核、内存 ≥16GB、磁盘 ≥50GB),资源不足时启动失败或运行卡顿。dify和ragflow默认使用相同的端口(80和443),导致如果部署到同一个服务器会产生端口冲突,我在使用过程中是修改了ragflow的端口映射,即在docker-compose.yml文件和docker-compose-gpu.yml文件中修改。修改ragflow的redis配置,在.env文件中,将6379修改为6380。四、dify调用ragflow知识库。
2025-04-01 18:59:00
371
原创 如何修改dify上传文件大小限制
在dify文件夹docker文件夹中的.env和.yaml文件中同时设置UPLOAD_FILE_SIZE_LIMIT和NGINX_CLIENT_MAX_BODY_SIZE变量同时修改为你需要的大小。
2025-04-01 09:50:13
245
原创 RAGflow离线部署上传文件解析报wsl故障
新增wsl全局配置文件(.wslconfig文件):windows路径栏输入:%UserProfile%,找到目录C:\Users\Administrator,默认是没有这个配置文件的,可以自己新增。查看docker信息,默认情况下,docker占用内存为电脑的一半,在运行ragflow时,内存会超过16个G,如果docker运行内存超多电脑的一半,就会报错。重启wsl或者重启电脑。再次查看docker info。
2025-03-31 15:21:44
226
原创 RAG知识库数据清洗-结构化数据
这里的结构化是指和数据本身相关的,有限的结构化清洗。检索增强生成RAG(Retrieval-Augmented Generation)通过从知识库检索相关内容,辅助生成更为准确的答案。所以知识库的数据质量直接决定了RAG的效果。非结构化的数据会导致检索噪声大、语义理解偏差等问题,而结构化的数据能够显著提升检索精度。
2025-03-30 11:05:55
822
原创 本地知识库RAG的基础知识
如果一个知识库像是百科全书,包罗万象,那实际效果往往会适得其反。(1)结构化差异:知识库最好以三元组(实体-关系-实体)形式组织。例如:(阿斯匹林,适用症状,头痛),而不是自然语言段落的陈述文字。(2)场景聚焦:围绕高频问题筛选内容,目标必须专业、专注。
2025-03-30 09:49:49
500
原创 dify离线部署过程中遇到插件安装问题
在离线部署dify时,会遇到安装插件需要联网安装依赖的问题,安装的插件中不包含运行所需要的依赖,造成不能添加模型问题。使得好多小伙伴不得不将dify版本退回到0.15。下面就将自己遇到的情况记录下来,方便后续查看。
2025-03-27 10:07:24
1713
原创 ollama安装及设置
如果需要修改访问端口,可以在OLLAMA_HOST后直接添加端口如:0.0.0.0:8080,默认是11434。,即只能本地访问127.0.0.1。如果要让局域网内其他设备访问 Ollama 服务,需要将。来指定监听的地址,默认情况下,它只监听。Ollama 服务使用环境变量。
2025-03-25 21:53:08
425
原创 离线部署docker desktop
找到windows系统中“启用和关闭windows功能”中勾选Hyper-V、适用于Linux的Window子系统、虚拟机平台。将下载的docker desktop转移到离线电脑,并双击进行安装。我们可以从微软官网下载最新版本的wsl2,然后正常打开。二、配置docker desktop的安装环境。下载完成后转移到离线电脑,直接双击安装。一、下载docker desktop。三、安装desktop。
2025-03-24 19:53:38
364
原创 关于选择部署dify的windows系统
在进行dify部署时,跟据实际情况,我选择的时windows系统,在部署dify时我想使用docker进行部署,所以在选择windows系统时,需要系统具在“启用和关闭windows功能”中勾选Hyper-V、适用于Linux的Window子系统、虚拟机平台。为了寻找有以上功能的windows系统,我先后从网上下载了6版系统,总算找到了满足条件的系统,系统必须选择完整版,而不是精简版或者阉割版。
2025-03-24 17:52:03
179
原创 使用docker离线部署dify之docker镜像问题及部署
部署dify时,需要使用docker拉取dify的镜像文件,由于官方镜像源被封,无法完成拉取镜像,即使时使用国内的镜像源也经常失败,现在通过配置多个镜像源,可以正常拉取镜像。1.打开docker desktop,找到设置-->docker engine-->修改镜像源。
2025-02-09 16:14:23
10580
7
原创 大模型微调的数据集构建
现在我们要做的就是把这样大段的文本形式的数据,转换成alpaca的形式。在以往我们只能通过人工的方式完成,而现在可以借助大模型的能力,大致思路就是让大模型根据文本,总结出对话、问答内容,这点可以通过Prompt工程实现。我们在进行大模型的微调时,往往想使用自己的内部数据,用于微调的数据通常是成千上万的问答对,如果手动搜集,需要花费大量的时间。现在就使用大模型来构造自己的数据集,并使用我们构造的数据集来微调大模型。llm的调用根据自己的实际情况,我这里因为是需要离线部署,所以使用的本地部署的Qwen模型。
2025-02-07 06:39:23
276
原创 LlamaFactory微调大模型参数介绍
在的webui里面,一切微调都是可视化,方便我们入手。我们可以不用了解每个参数背后的具体实现手段,但一定要知道每个参数的含义,大模型的微调不是一蹴而就,而是不断更新和优化。我们可能要调试各种参数之间的搭配,最后得到一个接近我们任务的大模型。
2025-01-31 11:35:42
1282
原创 如何将HuggingFace 格式的模型文件转换成GGUF 并使用ollama运行
模型文件微调时只能使用HuggingFace格式的文件,微调完成后如果想使用ollama进行统一运行,则需要将HuggingFace格式的文件转换成GGUF格式,之后再进一步使用GGUF格式的文件和ollama的Model File完成ollama模型文件的加载。
2025-01-29 21:31:49
1464
转载 最小二乘法的python实现
支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库。其基本思路是:事先选定的一组线性无关的函数, 是待定系数 ,拟合准则是使实验数据(笛卡尔坐标系的坐标数据)与待拟合曲线的距离的平方和最小,称为最小二乘准则.左边那个就是拟合出来的二次方程,因为格式问题,2次方在上面一行,大家能看懂就行,右边就是这个曲线的图,但是可以看出曲线并不能非常好的贴合散点数据。可以看出三次方程对于数据的贴合度还是比较好的,而如何选择合适的多项式,或者其他类型函数,比如指数函数,幂函数等就需要人自己的合理选择了.
2023-05-20 15:48:16
390
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人