AI航海家(Ethan)-优快云博客

原创 Flask使用Celery与多进程管理：优雅处理长时间任务与子进程终止技巧(multiprocessing)(subprocess)

在许多任务处理系统中，我们需要使用异步任务队列来处理繁重的计算或长时间运行的任务，如模型训练。Celery是一个广泛使用的分布式任务队列，而在某些任务中，尤其是涉及到调用独立脚本的场景中，我们需要混合使用和subprocess模块来启动和管理这些任务进程。然而，这种组合有时会带来一些挑战，如进程冲突和子进程无法正确终止的问题。本文将讨论如何使用Celery、Multiprocessing和Subprocess来处理这些问题，并在需要时正确关闭子进程，实现完美的进程管理与切换。

2024-12-06 15:48:04 1652 3

原创高并发的那些事儿：从生活出发！

都是栗子！让你秒懂高并发及解决方案

2024-12-02 18:40:17 1339

原创 Dify 知识库操作源码解析

接着判断索引技术模型接着构造 Dataset 入库，这里的 Dataset 就是知识库的信息总览，包含了该知识库的 embedding 模型信息、检索模型等信息。1.构造 Document 入库，这里的 Document 是知识库中的单个文档（我们创建知识库的时候可以上传多个文档），也就是一个 Dataset 实际上包含了多个 Document，Document 的信息就包含了文档信息以及数据处理相关的参数。位置：api/controllers/console/datasets/datasets.py。

2024-11-07 16:58:54 3371

原创 RAG技术解析：实现高精度大语言模型知识增强

RAG技术为大语言模型注入了"外部记忆"能力，使其能够基于最新和专有知识提供准确回答，有效克服了大模型"幻觉"问题。相比传统的微调方法，RAG具有实现成本低、部署简单、知识可实时更新等优势，特别适合企业级应用场景。随着向量数据库、嵌入模型和提示工程技术的不断进步，RAG系统的性能还将持续提升，为各领域的智能问答和知识服务带来更大价值。

2025-06-04 14:50:27 952

原创基于LangChain构建高效RAG问答系统：向量检索与LLM集成实战

本文详细介绍了使用LangChain框架构建RAG问答系统的全流程。首先配置向量检索环境，包括Redis向量数据库和DashScope嵌入模型；然后设计提示模板整合检索结果与用户问题；接着调用通义千问模型生成基于上下文的回答；最后通过LangChain链式处理实现端到端问答流程。该系统有效结合了向量检索的准确性和大语言模型的生成能力，适用于企业知识问答等场景，避免了模型幻觉问题，同时具备良好的可扩展性和灵活性。

2025-06-04 14:48:31 894

原创 LangChain实战：文档加载、分割与向量存储详解

本文详细介绍了使用LangChain框架处理文档的完整流程：首先通过TextLoader或DirectoryLoader加载文档，然后使用CharacterTextSplitter进行文本分割（支持自定义分割参数），最后利用DashScopeEmbeddings模型将文本向量化并存储到RedisVectorStore。整个过程包含环境准备、数据加载、文本分割和向量存储四个关键步骤，为构建文档问答系统等AI应用奠定了技术基础。文中提供了代码示例和实践要点，包括批量文件处理、分割优化和向量数据库配置等关键环节的

2025-06-03 18:56:12 273

原创 LangChain Agent实践：构建智能推理和工具调用系统

本文介绍了如何使用LangChain构建智能Agent系统来实现推理和工具调用功能。主要内容包括：1) 环境配置与模型设置；2) 两种工具函数定义方法（StructuredTool和@tool装饰器）；3) Agent的初始化和工作流程解析；4) 关键技术要点如Agent类型选择、工具注册和调试模式；5) 最佳实践建议如工具设计、错误处理和复杂查询；6) 实际应用场景和注意事项。文章通过代码示例详细展示了Agent从思考、行动到生成结果的完整过程，为开发者提供了构建智能系统的实用指南。

2025-05-29 19:00:00 869

原创 LangChain工具函数实践：让AI能力连接生活！

本文介绍了LangChain工具函数的使用方法与实践技巧。主要内容包括：通过@tool装饰器和StructuredTool创建天气查询、日期获取等工具函数；将工具绑定到AI模型并处理用户查询的过程；最佳实践中工具命名、错误处理和组合使用的建议；以及工具函数在信息查询、数据处理等场景的应用。文章还强调了安全性、性能和可维护性等注意事项，帮助开发者有效扩展AI模型能力。

2025-05-29 14:00:00 404

原创 LangChain + Redis：实现持久化的聊天历史记录管理

本文介绍了使用LangChain结合Redis实现聊天历史记录持久化管理的技术方案。主要内容包括：1) 环境准备和依赖安装；2) 两种基础实现方式 - 直接使用RedisChatMessageHistory和使用RunnableWithMessageHistory自动记录；3) 关键技术要点解析如Redis配置、会话管理、消息存储和自动化管理；4) 典型应用场景及方案优势；5) 最佳实践和注意事项。该方案能够有效管理聊天历史记录，支持上下文理解、多轮对话及高并发场景，为构建智能对话系统提供了可靠基础。

2025-05-28 14:34:47 712

原创 LangChain快速入门：使用LangChain构建高效的并行语言处理链

本文介绍了使用LangChain构建并行语言处理链的方法，实现同时将文本翻译为多种语言的功能。通过ChatPromptTemplate创建中/日语提示模板，结合ChatOpenAI模型和StrOutputParser解析器构建处理链，利用RunnableMap实现并行处理，最后用RunnableLambda合并结果。该系统具有模块化设计、链式处理、并行执行等优势，适用于多语言翻译、跨语言处理等场景。关键点包括组件复用、流程可视化及API密钥管理，为构建复杂语言处理系统提供了基础框架。

2025-05-28 14:29:08 356

原创 LangChain快速入门：多模型调用实践整合OpenRouter、Deepseek等API接口

本文介绍了使用LangChain框架调用多种大语言模型API的方法。主要内容包括：通过ChatOpenAI调用OpenRouter服务，使用langchain_deepseek包调用Deepseek模型，以及利用社区版接入其他模型如通义千问。文章提供了代码示例展示如何配置API密钥、创建系统消息和用户消息，以及处理模型输出。同时强调了注意事项，如API密钥管理、接口差异和费用控制。LangChain为开发者提供了统一接口来灵活切换不同模型服务，简化了AI应用开发流程。

2025-05-26 15:30:01 420