【RAGFlow代码详解-7】LLM 集成系统

原创 已于 2025-08-26 17:32:16 修改 · 1k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #embedding #llama

于 2025-08-25 19:53:57 首次发布

系统架构

LLM 集成概述

型号类型分类

型号类型 主接口 关键方法 使用案例
聊天 Base.chat（）、Base.chat_streamly（） 聊天（）、chat_with_tools（）、bind_tools（） 对话式 AI、RAG 生成
嵌入 Base.encode（）、Base.encode_queries（） 编码（）、encode_queries（） 文档矢量化、语义搜索
重新排名 Base.similarity() similarity() 搜索结果重新排名
图片2文本 Base.describe（）、Base.describe_with_prompt（） 描述（）、 聊天（） 文档 OCR、图像分析
语音2文本 Base.transcription() transcription() 音频处理、语音输入
TTS Base.tts() tts() 语音输出、音频生成

工厂模式实现

动态模型加载系统

在这里插入图片描述

聊天模型类层次结构

在这里插入图片描述

错误处理和可靠性

错误分类系统

最低0.47元/天 解锁文章
RagFlow 完全指南（一）：从零搭建开源大模型应用平台（Ollama、VLLM本地模型接入实战）
冷不丁
05-11 3220
RagFlow 是一个基于深度文档理解的自动化 RAG（Retrieval-Augmented Generation）工作流工具，支持从多种复杂格式的非结构化数据中提取信息。其核心特性包括基于模板的文本切片、降低幻觉、兼容异构数据源以及支持大语言模型和向量模型的配置。RagFlow 提供了易用的 API，可轻松集成到企业系统中。安装与部署过程依赖于 Docker 和 Docker Compose，支持 CPU 和 GPU 环境。用户可以通过本地模型（如 Ollama 和 VLLM）进行接入，并提供了详细的配
【RAGFlow代码详解-1】概述
df007df的博客
08-24 1202
RAGFlow是一个生产级RAG引擎，结合LLM与文档理解技术，支持多格式文档处理（PDF/DOCX/Excel等）。其技术特点包括：深度文档解析、可配置分块策略、多后端存储支持（Elasticsearch/OpenSearch等）和可视化工作流构建器。系统采用分层架构，包含React前端、Flask后端和多种存储方案，通过API提供知识库管理、文档处理等功能。RAGFlow实现了从文档上传、解析到向量检索的完整处理流程，支持多语言和容器化部署，适用于企业级知识管理场景。
Dify/FastGPT/RagFlow 分别通过 vLLM 和 Xinference 接入本地模型
学亮编程手记
03-28 4489
vLLM 是一个高性能的 LLM 推理引擎，支持本地模型的低延迟、高吞吐部署。Xinference 是一个支持分布式推理的框架，适合多模型管理和异构硬件环境。重启 FastGPT 服务生效。
RAGFlow笔记
weixin_44679919的博客
05-07 410
要选择OpenAI-API-Compatible。使用vllm时不能在模型提供商选择ollama。
【RAGFlow代码详解-23】聊天系统架构
df007df的博客
08-26 540
本文介绍了一个基于React的聊天系统架构，采用SSE实现实时消息流，支持多种交互模式。系统核心包括分层组件结构、基于钩子的状态管理和消息生命周期管理，实现URL驱动导航和乐观更新。特色功能包括多模型并发对话、可嵌入聊天小部件及与RAGFlow子系统的深度集成，通过统一消息接口连接知识库、LLM管理等模块，支持文件上传、多租户隔离等扩展能力。
【RAGFlow代码详解-2】系统架构
df007df的博客
08-24 964
RAGFlow是一个基于微服务架构的智能文档处理系统，集成了文档处理、对话式AI、搜索检索和LLM功能。系统采用Actor模型处理任务，多后端文档存储和工厂模式的LLM集成。核心文档处理流程包括分块、嵌入生成和存储操作。搜索系统实现混合检索，结合全文和向量相似性搜索。API层使用Flask蓝图，服务层通过专门类实现业务逻辑，采用Peewee ORM进行数据库集成。系统支持Docker部署，可通过环境变量灵活配置后端服务。
【RAGFlow代码详解-22】聊天界面
df007df的博客
08-26 645
本文介绍了基于React和SSE技术的实时聊天系统架构。系统采用分层设计，前端通过React构建，后端采用SSE实现实时消息流。核心功能包括：1）消息流系统处理用户输入和AI响应；2）使用useSendMessageWithSse钩子管理SSE连接生命周期；3）UI组件架构包含消息显示、输入和控制模块；4）对话管理系统通过对话和会话层次组织交互；5）集成知识库和LLM实现智能响应。系统支持Markdown渲染、文档引用、文件上传等功能，通过URL参数维护聊天状态，实现了高效的实时通信体验。
【RAGFlow代码详解-13】RAG 管道
df007df的博客
08-26 462
RAG 管道架构通过多阶段处理将文档转换为结构化知识图谱，支持两种提取方法：轻量级（Light）和常规（GraphRAG）。系统包含实体解析、图谱合并、多层存储等功能，并与 RAPTOR 分层处理集成。标准化数据格式支持多种检索模式，包括关键词、向量和图查询。该架构实现了从文档到知识图谱的转换，并兼容 RAGFlow 检索系统，提供灵活的查询方式。
【RAGFlow代码详解-3】核心服务
df007df的博客
08-24 531
任务执行系统是 RAGFlow 的主要后台处理引擎，负责文档解析、分块、嵌入生成和知识图谱构建。该系统是围绕 TaskExecutor 类构建的，并使用分布式工作器架构和基于 Redis 的任务队列。RAGFlow 的服务层提供了一套全面的数据库服务和业务逻辑处理程序，可在 HTTP API 层和底层存储系统之间进行协调。系统维护所有工作器实例的详细指标，包括待处理任务、滞后任务、已完成任务和失败任务。运行状况检查提供详细的状态信息，包括所有核心服务的响应时间、错误率和资源利用率。） 进行专门的速率限制。
[20页中英文PDF]生物制药企业新一代知识管理：用知识图谱+大模型构建“第二大脑“
01-07 417
药物研发正面临知识爆炸的挑战。本文深入探讨如何利用大语言模型和知识图谱技术构建企业级"第二大脑"，将分散的科研数据、文献和隐性知识整合为可搜索的知识库，实现60%的文档审查效率提升，并可能为制药行业创造600-1100亿美元的年度价值。
AI赋能金融科技，VisualProject引领项目管理新潮流
weixin_46916369的博客
01-06 511
金融科技项目管理迈入AI赋能新阶段，VisualProject引领智能化转型。随着金融科技竞争转向"体系化能力"，传统管理模式面临需求断层、资源失衡等痛点。维普时代推出的VisualProject通过AI深度融入项目全流程，实现智能需求解析、资源协同和风险预警，使招商银行等项目效率提升40%、延期率降至8%。该产品构建"数据驱动决策"体系，提供30余项核心指标分析，助力金融机构实现精准管理。未来，AI与项目管理的深度融合将持续推动金融科技高质量发展。
基于LangChain与RAG技术构建智能客服问答系统：完整实现指南
weixin_46244623的博客
01-08 718
本文介绍了基于LangChain框架和RAG技术的智能客服系统构建方法。该系统整合了Ollama本地语言模型服务和FAISS向量数据库，能够高效检索项目文档并生成准确回答。文章详细阐述了系统架构、核心组件及实现代码，包括知识库构建、文档检索和回答生成流程。该系统可显著提升客服效率，支持网络搜索、数学计算、节假日查询等多种功能，并提供了良好的可扩展性。通过本地部署Qwen2.5模型，实现了安全可靠的智能客服解决方案。
【金猿CIO展】上海康展物流有限公司董事长兼CIO王浩：AI驱动数智化转型——医药物流供应链的全链路革新之路
数据猿
01-04 757
未来，我们将继续聚焦技术创新与服务升级，深化人工智能、物联网等技术在全场景的应用，以更高效、更合规、更智能的供应链服务，助力大健康产业发展，致力于成为专业医药物流最佳服务商，与行业伙伴共同构建更具韧性与价值的供应链生态。：建立全链路透明服务体系，客户、委托方、康展物流、承运商派送商四方均可通过WEB端、移动端实时跟踪订单信息、物流状态、车辆位置与温度数据，实现发货通知、时效跟踪、回单状态查询、异常反馈等全流程可视化，变被动查询为主动感知。数智化转型的终极目标，是实现运营模式的升级与服务价值的重塑。
以 JoyAgent-JDGenie 项目为例：如何利用 AI Agent 高效学习开源框架
caicongyang
01-05 1033
本文以JoyAgent-JDGenie项目为例，介绍利用AI技术高效学习开源框架的方法。
PBA-PEG-Silane，苯硼酸-聚乙二醇-硅烷在二氧化硅表面修饰中的应用研究
lk13186385584的博客
01-04 443
PBA-PEG-Silane是一种集成了苯硼酸（PBA）、聚乙二醇（PEG）和硅烷偶联剂的三功能分子。
【综述】前视二维多波束成像声呐(FLS)图像处理算法全解析：从成像到深度学习
s0907136的博客
01-08 754
摘要： 前视二维多波束声呐（FLS）图像具有低分辨率、高斑点噪声、几何畸变等特点，其处理算法可分为： 图像形成与几何变换：极坐标转笛卡尔坐标（扫描变换）及畸变校正； 去噪：中值滤波、各向异性扩散（P-M模型）、小波/曲波变换及深度学习方法（DnCNN）； 增强：CLAHE、Gamma校正及Retinex算法； 分割：阈值法（Otsu）、聚类（FCM）、活动轮廓模型及U-Net； 特征提取与配准：SIFT/AKAZE结合RANSAC； 超分辨率重建：反卷积或稀疏表示； 深度学习：CNN用于去噪、目标检测（YO
动态上下文发现：提升AI Agent上下文管理的未来
最新发布
深入 IT 各领域的角落，分享前沿技术见解与实践心得。与我一起，探索技术的无限可能！
01-08 525
摘要：Cursor通过动态上下文发现技术优化AI Agent性能，提出五种策略：1)将长工具响应转为文件；2)引用对话历史文件；3)按需加载Agent Skills；4)选择性使用MCP工具；5)终端会话文件化。文件作为基础单元，兼具简洁性、持久性和灵活性，有效减少token消耗46.9%，提升模型响应质量。这一技术突破为AI Agent的上下文管理提供了高效解决方案，展现了简单抽象在复杂系统中的持续价值。（149字）
调用embedding生成向量并存储到milvus中，进行查询
java
01-04 337
先按装docker ,milvus,attu。Attu 是 milvus 的可视化界面，第一步：操作milvus 的工具类。第二步：对应操作的实体对象。这里需要jdk21.三个节点都需要起动。
Hard Negative Mining: 面向企业RAG系统的领域特定检索优化框架
狮子座明仔知识集散场
01-06 704
摘要：本研究提出Hard Negative Mining框架，针对企业RAG系统中的领域特定检索问题，通过多模型嵌入集成（6种双编码器模型）和PCA降维（保留95%方差）生成语义表示，创新性地采用双条件筛选策略选择高质量硬负样本。实验表明，该方法在企业内部数据集上MRR@10达到0.64，相比基线提升42%，且跨金融、气候等领域保持33-45%的性能提升。核心贡献包括：1）多模型互补表示解决语义不匹配；2）双条件选择策略提升负样本质量；3）高效PCA降维优化。局限在于长文档处理和跨语言支持，未来将探索分层嵌
Langflow与RAGFlow Agent等框架的集成方案
07-11
<think>我们正在讨论Langflow与RAGFlow Agent的集成方案。根据引用内容，RAGFlow是一个基于深度文档理解的开源RAG引擎，而Langflow是一个用于构建LangChain应用程序的可视化工作流工具。用户的问题是如何将Langflow与RAGFlow Agent及其他相关框架集成。 根据之前的回答，我们已经提供了RAGFlow与Langflow集成的几种方式（API级集成、工具链集成、工作流深度集成）。现在，用户要求参考站内引用，并再次询问集成方案。因此，我们需要结合引用内容，重新组织回答，并确保引用标识正确。 引用[1]提到：RAG框架在功能和场景上各有专长，文档密集型需求选RAGFlow，技术团队则可挑战LangChain。而Langflow是LangChain的可视化编排工具，因此集成RAGFlow和Langflow可以结合两者优势。 引用[2]说明：RAGFlow可以为各种规模的企业及个人提供一套精简的RAG工作流程，结合大语言模型（LLM）针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。 引用[3]介绍了Dify的特点，但用户的问题是关于Langflow和RAGFlow的集成，因此我们主要参考[1]和[2]。 集成方案可以总结为： 1. **API级集成**：Langflow通过HTTP节点调用RAGFlow的API，获取检索结果。 2. **工具链集成**：将RAGFlow封装为LangChain的一个工具（Tool），然后在Langflow中通过自定义组件的方式使用这个工具。 3. **工作流深度集成**：在更复杂的场景中，可以设计工作流，让Langflow Agent调用RAGFlow生成SQL或检索结果，然后进行后续处理。 下面我们将详细展开，并注意引用标识。 另外，注意用户要求使用中文回答，并按照格式要求使用LaTeX。 同时，我们需要生成相关问题。</think>### Langflow与RAGFlow Agent集成方案详解 结合引用内容[^1][^2]，Langflow与RAGFlow Agent的集成主要通过以下三种核心方式实现，满足不同复杂度的应用场景： --- #### 一、API级无缝集成（推荐方案） **架构原理**： ```mermaid graph TB L[Langflow工作流] -->|HTTP请求| R[RAGFlow API] R -->|结构化数据| L L -->|决策指令| LLM[大语言模型] LLM -->|最终响应| User ``` **实现步骤**： 1. **配置RAGFlow API端点** - 在RAGFlow创建知识库并获取API Key（引用[^2]） - 设置访问策略：`POST /api/v1/retrievals` 2. **Langflow节点开发** ```python # Langflow自定义组件示例 from langflow import CustomComponent import requests class RAGFlowRetriever(CustomComponent): def build(self, query: str, top_k: int = 3) -> list: response = requests.post( "http://ragflow:8080/api/v1/retrievals", headers={"Authorization": "Bearer YOUR_API_KEY"}, json={ "query": query, "knowledge_base_id": "finance_db", "top_k": top_k # 返回最相关的前k个结果 } ) return [res['content'] for res in response.json()['results']] ``` 3. **工作流编排** - 将自定义节点接入Langflow画布 - 连接LLM节点实现结果精炼： `用户问题 → RAGFlow检索 → GPT-4分析 → 输出响应` **优势**： - 实时访问企业级知识库，避免传统Text2SQL的模型微调需求（引用[^1]） - 支持复杂格式文档（PDF/Excel等）的深度理解（引用[^2]） --- #### 二、工具链集成（Agent扩展） **实现方式**： ```python # 在Langflow中注册RAG工具 from langchain.agents import tool @tool def ragflow_tool(question: str) -> str: """查询企业知识库获取精准信息""" # 调用RAGFlow API（代码同上） return "\n".join(retrieved_results) # 初始化Agent时注入工具 agent = initialize_agent( tools=[ragflow_tool, calculator_tool], # 多工具协同 llm=ChatOpenAI(temperature=0), agent_type=AgentType.STRUCTURED_CHAT_ZERO_SHOT_REACT_DESCRIPTION ) ``` **应用场景**： - 客户支持：用户提问 → RAGFlow检索知识库 → Agent生成个性化回复 - 财务分析：`自然语言查询 → RAGFlow生成SQL → Agent执行并解释结果` --- #### 三、工作流深度集成 **架构流程**： ```mermaid sequenceDiagram participant User participant Langflow participant RAGFlow User->>Langflow： “上季度华东区销售趋势？” Langflow->>RAGFlow： 发送结构化查询请求 RAGFlow->>RAGFlow： 多模态检索（向量库+关系数据库） RAGFlow-->>Langflow： 返回带证据的JSON Langflow->>Langflow： Agent决策+结果可视化 Langflow-->>User： 图表+分析报告 ``` **关键配置**： 1. **数据格式转换** - 使用JSON Schema统一接口规范： ```json // RAGFlow响应格式 { "evidence": [{"source": "file.pdf", "page": 15}], "sql": "SELECT region, SUM(sales) FROM Q1_data...", "summary": "华东区同比增长20%" } ``` 2. **性能优化** - 启用RAGFlow异步接口：`POST /api/v1/retrievals/async` - 批处理请求延迟模型： $$T_{batch} = \frac{n \times T_{single}}{concurrency\_level} + \delta_{network}$$ --- #### 四、与其他框架对比 | 能力 | Langflow+RAGFlow | Dify原生集成 | FastGPT+LangChain | |---------------------|------------------|--------------|-------------------| | 复杂文档解析 | ✅⭐️ (深度理解) | ✅ | ⚠️ (基础解析) | | 免微调Text2SQL | ✅ [^1] | ⚠️部分支持 | ❌ | | 可视化流程编排 | ✅ | ✅ | ✅ | | 实时知识更新 | ✅ (秒级) | ✅ | ⚠️ (分钟级) | | 多工具协同 | ✅ | ✅ | ❌ | > **最佳实践**：对于文档密集型场景（如合同分析/财报处理），优先选择Langflow编排RAGFlow作为检索核心；需要快速原型验证时可搭配Dify使用（引用[^1][^3]）。 --- #### 五、实施注意事项 1. **安全认证** - 通过环境变量管理密钥：`export RAGFLOW_API_KEY=sk-xxx` - 启用HTTPS加密传输 2. **错误处理机制** ```python try: results = ragflow_retriever(query) except requests.exceptions.HTTPError as e: if e.response.status_code == 429: time.sleep(2**retry_count) # 指数退避重试 elif e.response.status_code == 404: return "知识库未找到相关数据" ``` 3. **性能监控指标** - 检索召回率：$Recall@k = \frac{\text{相关结果数}}{k}$ - 端到端延迟：$Latency_{total} = T_{retrieval} + T_{llm}$ - 知识覆盖率：$Coverage = \frac{\text{被查询文档数}}{\text{知识库总量}}$ ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

df007df

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值