名为沙丁鱼的猫729-优快云博客

原创【从模仿到创造：大模型如何通过“先SFT后RL”实现能力进化？】

本文探讨了大语言模型后训练中监督微调(SFT)与强化学习(RL)的辩证关系。SFT通过高质量数据快速固化模型的输出格式和行为规范，追求高效稳定；而RL则通过试错探索任务本质，提升泛化能力。研究表明，SFT擅长"形"的塑造，RL侧重"神"的注入，二者协同作用：先用SFT建立稳定的输出框架，再用RL优化策略性能。多个实验验证了这一"先SFT后RL"范式的有效性，特别是在需要突破示范数据局限、学习抽象策略的任务中，RL展现出更强的泛化能力。

2025-11-05 21:06:21 741

原创【超详细搭建基于ReAct模式的AgenticRAG系统架构】系统支持多种知识库类型，包括本地检索、Dify API、RAPTOR和GraphRAG等，实现快速检索相关片段和获取完整文档

本文介绍了一个基于ReAct模式的AgenticRAG系统架构，通过"思考-行动-观察"循环处理用户查询。系统包含Agent核心逻辑、工具集、配置模块、评估模块和主程序入口等组件。文章以法律领域为例，详细说明了数据集的构建方法，分为简单案例（测试基础检索能力）和复杂案例（评估多步推理能力）。系统支持多种知识库类型，包括本地检索、Dify API、RAPTOR和GraphRAG等，实现了两阶段检索策略：快速检索相关片段和获取完整文档。文章还深入分析了提示词工程、工具调用机制、多LLM提供商

2025-11-04 23:39:36 908

原创【超详MCP框架搭建】支持三种Client-Server通信方式：stdio适用于标准输入输出实现进程间通信；HTTP+SSE支持远程多客户端连接，基于Server-SentEvents实现实时推送

MCP框架支持三种Client-Server通信方式：stdio适用于本地测试，通过标准输入输出实现进程间通信；HTTP+SSE支持远程多客户端连接，基于Server-SentEvents实现实时推送；StreamableHTTP是最新推荐方式，采用流式HTTP协议，具有统一端点、按需流式传输和状态管理等优势。三种方式均通过MCPClientSession提供统一的工具调用、资源操作和提示词模板功能，开发者可根据场景需求选择合适方案。

2025-11-03 23:21:22 1345

原创【万文超详总结】深入总结检索技术演进，对比稠密嵌入（BERT、BGE-M3）和稀疏嵌入（TF-IDF、BM25）的优劣，并验证混合检索策略的优越性。进一步总结RAPTOR和GraphRAG处理复杂知识

摘要：本文系统梳理了RAG（检索增强生成）技术的核心概念及应用实践。首先介绍RAG的基本原理和系统架构，分析其通过实时检索外部知识库增强生成模型能力的特点。随后深入探讨检索技术演进，对比稠密嵌入（BERT、BGE-M3）和稀疏嵌入（TF-IDF、BM25）的优劣，并验证混合检索策略的优越性。进一步探讨结构化索引方法（RAPTOR和GraphRAG）在处理复杂知识时的表现。最后提出Agentic RAG范式，通过"思考-行动-观察"循环实现智能检索，为复杂问题提供更精准的解决方案

2025-11-03 22:54:22 1620

原创【基于Transformer的预训练模型】BERT的掩码语言建模和GPT的自回归生成机制，基于HuggingFace的Transformers库，整合了多种预训练模型，支持PyTorch等框架

本文介绍了Transformer模型的三种主要应用方式：仅用编码器（如BERT）适合文本理解任务；仅用解码器（如GPT系列）擅长文本生成；同时使用编解码器（如T5）适用于翻译、摘要等任务。详细解析了BERT的掩码语言建模和GPT的自回归生成机制，并介绍了HuggingFace的Transformers库，该库整合了多种预训练模型，支持PyTorch等框架，通过pipeline接口可快速实现文本分类等任务。文章还提供了使用Transformers库进行情感分析的代码示例。

2025-10-13 23:12:28 1046

原创词嵌入技术，Word2Vec模型及其两种变体CBOW和Skip-gram,词嵌入如何解决one-hot编码的高维稀疏问题，神经语言模型、层次softmax和负采样,编码器-解码器、束搜索和BLEU评估

本文介绍了自然语言处理中的词嵌入技术，重点讲解了Word2Vec模型及其两种变体CBOW和Skip-gram。文章阐述了词嵌入如何解决one-hot编码的高维稀疏问题，通过训练学习词的特征向量，使语义相近的词在向量空间中距离接近。详细说明了神经语言模型、层次softmax和负采样等训练方法，以及它们在序列建模中的应用。最后介绍了序列到序列模型及其在机器翻译中的实现，包括编码器-解码器结构、束搜索和BLEU评估指标等关键技术。文章内容覆盖了NLP基础模型的核心概念和实践方法。

2025-10-13 00:22:00 1224

原创【Agent 四大协议（MCP/ACP/A2A/ANP）解析】MCP（多智能体通信协议）解决异构Agent间消息传递标准化问题，支持JSON格式的消息路由和上下文管理；ACP（能力协议）规范Agent

本文系统介绍了智能体通信的四大核心协议框架：1. MCP（多智能体通信协议）解决异构Agent间消息传递标准化问题，支持JSON格式的消息路由和上下文管理；2. ACP（能力协议）规范Agent能力的描述、注册与调用流程，实现能力自动发现；3. A2A（交互协议）定义任务分解、分配和结果聚合的协作机制；4. ANP（网络协议）构建Agent网络的拓扑结构与资源调度。这些协议形成互补：ACP解决"能做什么"，MCP解决"怎么通信"，A2A解决"如何协作&quo

2025-09-04 17:26:33 1805

原创异步编程、类型注解、函数式编程、属性装饰器和Pydantic模型、asyncio异步机制、@property和Pydantic的实际应用场景、临时文件管理、JSON/Base64编码、HTTP流式传输

本文深入解析Python编程核心技术，涵盖异步编程、类型注解、函数式编程、属性装饰器和Pydantic模型应用5大核心领域。重点剖析asyncio异步机制、类型提示系统、函数式编程范式，以及@property和Pydantic的实际应用场景。同时详细解读文件处理、数据序列化和网络通信技术，包括临时文件管理、JSON/Base64编码、HTTP流式传输(SSE)和HTTPX客户端编程。通过具体代码示例，展现Python在并发处理、类型安全、数据验证和高效IO操作方面的技术实现，为开发者提供全面的Python高

2025-09-03 17:54:31 1008

原创 Dify 1.8.0采用蜂巢架构实现模块化设计，核心包含API服务、Web前端等模块，并行ID分组解决工作流节点

Dify 1.8.0采用蜂巢架构实现模块化设计，核心包含API服务、Web前端等模块。关键技术包括：1）RAG实现机制，通过递归分块和混合检索优化文档处理；2）Agent决策机制，支持Function Calling和ReAct两种策略。文章还提供了两个实用案例：1）通过并行ID分组解决工作流节点重复执行问题；2）调整分块参数优化RAG检索性能。该架构具有灵活性、可维护性和扩展性优势，支持从原型到企业级部署的全流程扩展。

2025-09-02 18:07:44 1647 1

原创【超详细RAG 引擎实现】检索前查询转换，如简单查询重写、HyDE假设性文档嵌入和多步查询分解、检索后处理环节，包括节点过滤、自定义后处理和基于Cohere模型的重排序优化；3.语义路由实现即意图识别

本文介绍了模块化RAG（检索增强生成）系统的关键开发阶段与应用方法。主要内容包括：1.检索前查询转换技术，如简单查询重写、HyDE假设性文档嵌入和多步查询分解，以提升检索质量；2.检索后处理环节，包括节点过滤、自定义后处理和基于Cohere模型的重排序优化；3.语义路由功能实现，通过意图识别将查询智能路由至不同知识源或响应类型的查询引擎/检索器。文章通过具体代码示例展示了各模块的实现方式，并强调了这些技术在提高RAG系统响应准确性和全面性方面的重要作用。

2025-08-28 18:56:44 1227

原创【超详细prompt解读】提示词优化指令设计指导语言模型完成任务与应用场景如文本摘要、信息提取、多轮问答、编写原则：使用分隔符、结构化输出、少样本提示等、APE和APE和BROKE两大提示工程框架

本文系统介绍了提示词工程（Prompt Engineering）的概念、应用场景及编写原则。主要内容包括：1）提示词工程的定义和作用，即通过优化指令设计指导语言模型完成任务；2）常见应用场景如文本摘要、信息提取、多轮问答等NLP任务；3）编写原则包括使用分隔符、结构化输出、少样本提示等技巧；4）介绍了APE和BROKE两大提示工程框架；5）讲解了问答系统中Prompt模板的使用方法。文章通过具体代码示例展示了提示词工程在实际应用中的实现方式，为开发者提供了实用指导。

2025-08-28 18:51:46 1286

原创【超级详细易懂python--线程和进程】使用_thread模块创建线程；通过threading.Thread直接运行函数；继承threading.Thread类创建线程；线程同步与等待机制

本文介绍了Python中多线程的几种实现方式及其应用场景。主要内容包括：1. 使用_thread模块创建线程；2. 通过threading.Thread直接运行函数；3. 继承threading.Thread类创建线程；4. 线程同步与等待机制；5. 线程优先级队列的实现；6. 线程与进程的区别。文章详细讲解了各种线程创建方法的具体实现，包括线程同步、线程优先级队列等高级特性，并分析了多线程编程的优势，如提高CPU利用率、简化异步事件处理等。最后对比了线程和进程的区别，指出线程更适合需要共享数据的并发操作场

2025-08-26 18:04:05 648

原创【RAG知识库落地优化实践】RAG 在文档智能解析、切片中面临的挑战和主流的解决方案、检索策略的调优和嵌入模型的选型策略、文档解析阶段面临格式多样性、内容复杂性和非结构化文本等难题；

本文探讨了RAG（检索增强生成）系统的核心挑战与解决方案。在文档解析阶段面临格式多样性、内容复杂性和非结构化文本等难题；分块策略需平衡信息粒度与上下文保留，介绍了固定分块、重叠分块和语义分块等方法。重点分析了二阶段检索（召回+精排）的优势，对比了Embedding模型与Rerank模型的性能差异，并介绍了BM25关键词检索技术和混合检索（向量+关键词）的实现方法。最后讨论了评估指标（命中率、MRR等）和实际应用中的性能权衡问题。

2025-08-26 18:03:54 1052

原创【超级详细易懂Python--迭代器、生成器和装饰器的使用】迭代器通过iter()和next()方法实现数据遍历，生成器通过yield关键字暂停与恢复函数执行，装饰器则通过@符号为函数或类添加功能

本文介绍了Python中迭代器、生成器和装饰器的使用。迭代器通过iter()和next()方法实现数据遍历，生成器通过yield关键字暂停与恢复函数执行，装饰器则通过@符号为函数或类添加功能。文中详细讲解了自定义迭代器类的实现方法、生成器的运行机制与协程应用，以及装饰器对函数和类的增强方式，并提供了多个代码示例说明其具体应用场景。这些高级特性使Python代码更简洁高效，适用于各种数据处理和功能扩展需求。

2025-08-25 19:00:29 1232

原创【python文件处理】使用 open() 函数打开文件、 File 操作文件、使用 OS 对象操作文件目录的知识，使用 open() 函数打开文件

使用 open() 函数打开文件、 File 操作文件、使用 OS 对象操作文件目录的知识，使用 open() 函数打开文件

2025-08-25 17:34:16 1239

原创【基于Agent的问答系统中会话队列机制的核心原理与实现】遵循FIFO原则的数据结构，在系统中起到事件缓冲、顺序处理和异步解耦，生产者-消费者模型将用户请求（生产者）与处理逻辑（消费者）解耦

本文探讨了基于Agent的问答系统中会话队列机制的核心原理与实现。队列作为遵循FIFO原则的数据结构，在系统中起到事件缓冲、顺序处理和异步解耦的关键作用。通过生产者-消费者模型，队列机制将用户请求（生产者）与处理逻辑（消费者）解耦，确保系统稳定性和并发能力。文章采用餐厅点餐的生活类比解释了队列机制，并提供了Python实现代码示例，包括事件类定义、队列管理以及问答Agent的核心处理流程，关键实现要点包括线程安全的事件队列、异步事件处理机制，以及针对队列满和空队列的异常处理策略

2025-08-21 17:53:00 1393

原创【实操实录】深入探讨了RAG系统中的文本分块策略，固定长度、递归字符分块、用文档结构的Markdown/HTML分块、基于语义和主题的高级分块、小-大分块等混合策略、chunk_size设置

本文摘要：文章深入探讨了RAG系统中的文本分块策略，指出分块质量直接影响系统性能。介绍了几种主要分块方法：1）固定长度和递归字符分块等基础策略；2）利用文档结构的Markdown/HTML分块；3）基于语义和主题的高级分块；4）小-大分块等混合策略。强调应根据文档特性选择策略：从递归分块开始，检查结构化特征，在精度不足时尝试语义分块，对复杂文档采用混合策略。文章提供了Python代码示例，并指出合理的chunk_size和chunk_overlap设置对平衡信息完整性与检索精度至关重要。

2025-08-21 16:54:12 1620

原创 Langfuse 链路追踪在基于 Agent 的 RAG 系统中的实现原理与代码实践

摘要： Langfuse是一款专为LLM应用设计的可观测性工具，通过链路追踪（Tracing）技术监控Agent-RAG系统的全流程（Agent调度、RAG检索、LLM调用等）。其核心原理是以TraceID串联操作，形成树状调用链（Trace为根节点，Span记录子操作耗时和状态）。在RAG系统中，Langfuse可追踪用户提问→Agent解析→文档检索→LLM生成→结果返回的全链路，并通过Python SDK实现代码集成。开发者能通过可视化界面分析性能瓶颈（如LLM延迟）、错误定位（如检索失败）及资源消耗

2025-08-20 16:37:47 988

原创处理HTTP请求的异步接口实现方案，采用&quot；请求接收→参数处理→模板执行→跨平台转换→流式响应&quot；的流程设计、异步I/O、SSE协议、模板引擎和调度系统、高并发处理和实时数据推送能力

本文介绍了一个处理HTTP请求的异步接口实现方案，采用"请求接收→参数处理→模板执行→跨平台转换→流式响应"的流程设计。核心模块包括：1）请求数据解析与日志记录；2）跨平台参数统一处理；3）模板参数构建；4）调度引擎执行模板；5）跨平台结果格式转换；6）返回流式响应。该方案通过适配器模式支持多平台接入，利用异步生成器实现非阻塞流式输出，适用于RAG系统、多平台交互等场景。关键技术涉及异步I/O、SSE协议、模板引擎和调度系统，具有高并发处理和实时数据推送能力。

2025-08-20 16:25:15 1393

原创【实操实录】构建事实提取代理（FactExtractorAgent）的测试验证流程，正则表达式提取函数、Pydantic数据模型定义和异步流式处理机制，内存服务简化依赖，通过流式事件实时观察代理处理结

本文介绍了构建事实提取代理（FactExtractorAgent）的测试验证流程。通过初始化测试环境、配置代理模板、创建执行单元、构造测试用例等步骤，验证代理能否从文档中正确提取用户查询的关键信息。核心实现包括正则表达式提取函数、Pydantic数据模型定义和异步流式处理机制。测试采用内存服务简化依赖，通过流式事件实时观察代理提取结果，最终验证了文档到答案的提取功能。整体流程体现了"配置即代码"和异步编程思想。

2025-08-20 14:55:37 765

原创【超详细pandas学习】安装与导入；核心数据结构Series和DataFrame的创建与操作；文件读写操作（CSV、Excel、TXT）；数据查看与选择；数据增删改操作；数据清洗（去重、缺失值处理）

本文介绍了Python中pandas库的基本使用方法，主要包括：1）安装与导入；2）核心数据结构Series和DataFrame的创建与操作；3）文件读写操作（CSV、Excel、TXT）；4）数据查看与选择；5）数据增删改操作；6）数据清洗（去重、缺失值处理）；7）常用统计计算（均值、中位数等）；8）数据类型转换；9）数据索引与标签操作；10）数据的数学运算。文章通过具体代码示例，系统讲解了pandas在数据处理与分析中的基础应用，适合Python数据分析初学者快速掌握pandas的基本功能。

2025-08-19 17:30:28 1232

原创基于langgraph意图识别框架搭建，包括知识检索（不支持自定义检索参数），工具调用：验证并兼容mcp工具的调用，http提供服务的工具注册以及调用，本地工具注册、意图识别兼容路由工作流的能力

本文介绍了LangGraph框架在意图识别和任务处理中的应用原理。该框架基于状态机工作流和图计算模型，将复杂任务拆解为可复用的节点，通过定义节点间的连接关系构建有向图，实现任务的动态流转。核心内容包括：1)框架底层原理，采用有限状态机、声明式编程和检查点机制；2)工具调用系统实现，通过依赖注入和接口隔离支持多类型工具适配；3)路由工作流与中断恢复机制，基于条件路由和决策树模型实现动态流程控制；4)流式输出技术，结合生成器模式和Server-SentEvents实现响应增量传输；5)知识检索模块支持动态参数传

2025-08-18 17:19:56 1753

2402_87515571的博客