DeepSeek+LangChain:保姆级全流程RAG实战(从入门到精通),收藏这一篇就够了!

【Langchain学习笔记(三)】基于 DeepSeek 构建聊天机器人 本文主要介绍如何基于 DeepSeek 来创建一个聊天机器人。首先介绍 PromptTemplate 提示模版t,它作为设计对话流的基础,能够极大提升用户体验。接着,深入 DeepSeek 环境准备及模型创建过程,包括获取API、创建和配置 API Key、设置 base_url 以及选择合适的模型等步骤。基于 Langchain 框架,将介绍如何通过 MessagesPlaceholder 处理复杂的多轮对话,构建 Chain 保存对话历史,并了解 RunnableWithMessageHistory 对 阅读详情

ℹ️RAG全称是Retrieval-Augmented Generation(检索增强生成),一句话解释就是:把问题和相应的参考资料一起给大模型,以期望得到效果更好的模型表现。

ℹ️LangChain包含用于开发大语言模型应用的各种功能组件,不仅仅是RAG,所以相较于RAGFlow、HayStack等专门为RAG设计的框架来说,功能更为丰富,更“笨重”,学习门槛更高。

第一步,环境准备

参见requirements.txt。主要Python库:

第二步,模型调用

这里使用的DeepSeek官方提供的API。访问DeepSeek开放平台(https://platform.deepseek.com),创建API_KEY,有免费token额度,如果使用量比较大则需要充值:

DeepSeek采用和openai兼容的API格式,上图为设置相应环境变量。

然后就可以使用模型了,deepseek-chat代表DeepSeek-V3,如果使用DeepSeek-R1则名称填写为deepseek-reasoner:

第三步,文档加载与分割

文档不限制格式,这里以pdf为例:

ℹ️加载后的文档为Document对象。page_content属性保存的是文档内容,metadata属性保存的是文档元信息,比如来源、创建时间等。

ℹ️将文档切割成文档片段(chunks),方便存储、向量化与精确检索,每个片段仍然是Document对象,即一个个更小的文档。切割时可以设置每个片段的长度、重叠字符数(chunk_overlap)、切割标识符等参数,其中重叠字符数即相邻片段会有一定的重叠,这是为了避免把段落切得“太碎”,保持语义完整。

第四步,文本嵌入与向量化存储

第二步切割后的文档片段,使用文本嵌入模型(embedding model)将其映射为包含语义信息的向量,然后保存到向量数据库中。嵌入模型和向量数据库都有多种选择,这里使用阿里云百炼的text-embedding-v2嵌入模型和FAISS向量数据库作为示例:

申请阿里云百炼API key(https://bailian.console.aliyun.com/)并设置环境变量:

第五步,重排(ReRank)

在文本被嵌入成固定长度的向量后,会丢失一些信息,为了得到更准确的与prompt(即向量检索时的query)相关的文本,就要在向量检索后再利用重排模型对检索结果进行更精细的语义分析,重新排序,达到筛选出最相关信息和减少无关上下文的目的。

重排模型这里使用北京智源人工智能研究院的BAAI/bge-reranker-large,在Hugging Face上这是最热门的ReRank模型之一。

ℹ️LangChain已经集成了阿里云百炼的相关Python库,所以在第三步文本嵌入时我们直接使用了一个现成的嵌入模型调用接口DashScopeEmbeddings

⚠️而在重排时使用BAAI/bge-reranker-large则需要我们自己实现重排的相关逻辑,不过过程也很简单:

1.继承BaseDocumentCompressor

2.实现compress_documents方法

然后组合向量检索器和重排器:

第六步,设计提示词模板

这里构造提示词模板时,将提示词分为了两部分,一个是系统消息(system,用来表达上下文内容),另一个是用户消息(user,用来表达用户问题),其中context占位符用来填充从第四步中检索到的相关上下文,question占位符用来填充具体的问题。

第七步,构建链

LangChain中的chain最大特点即是把处理流程连接起来,前一步的输出作为后一步的输入,类似于管道操作,如SparkML中的pipeline或者Linux中的管道符。

⚠️一般用来构建链的对象是属于Runnable类型的。Runnable相当于抽象基类或者接口。

1.使用RunnableParallel组合上下文和问题,其中ccr即是第四步中检索加重排后得到的上下文

2.构建链

✅流程逻辑:

1️⃣retriever,用户输入的问题同时传给了ccr和RunnablePassthrough,ccr即检索加重排得到上下文,RunnablePassthrough不做操作返回问题

2️⃣chat_prompt,接收retriver传来的上下文和问题,填充提示词模版中的对应占位符得到完整提示词

3️⃣chat_llm,接收到完整提示词,进行模型推理

4️⃣CustomParser(),对模型推理返回的答案进行格式化

第八步,进行推理

LangChain中使用invoke方法执行链或模型。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

LangChain + DeepSeek 详解 本文介绍了LangChain框架的基础使用与核心功能。作为AI应用开发工具,LangChain通过标准化接口连接LLM与外部系统,包含Prompt模板、LLM模型、代理和记忆系统四大组件。文章详细演示了Python环境下的安装配置流程,包括向量数据库初始化、DeepSeek模型适配和对话链构建。重点解析了流式输出处理技术,对比了不同调用模式的性能差异,并给出生产环境下的优化建议(如错误重试、超时设置和监控集成)。该框架采用模块化设计,支持快速原型开发,适合构建可扩展的智能应用,但需要注意内存向量库的临时性特 阅读详情

相关推荐

DeepSeek&LangChain:“模型+框架”的AI测试融合实践!

LangChain 是一个专为构建基于大语言模型(LLMs)的应用而设计的强大框架。旨在简化 LLM 的开发流程。

我的博客 1113

基于Deepseek和Langchain的cp文学生成器(上)

AI-agent

m0_53214585的博客 3845

基于LSTM语义分析的企业风险预测系统

在数字化时代,企业面临着前所未有的挑战和机遇,而风险管理作为确保企业稳定发展的关键一环,其重要性日益凸显。为了及时、准确地监测和分析企业相关的风险,并预测可能带来的风险,本文介绍了一种基于长短期记忆(LSTM)语义分析的企业风险预测系统。该系统利用深度学习技术,通过将收集到的企业数据进行预处理和分析,结合LSTM模型对文本进行深度语义分析,从而实现对潜在风险的预测和评估。系统设计方面,该系统包括数据预处理、LSTM模型构建与训练、风险预测以及可视化展示等模块。

qiufangtaowvnyyidtf的博客 1392

Deepseek + RAG:创建本地运行智能体

学习如何通过,构建本地运行的智能 RAG 聊天机器人!本教程将带您逐步了解如何利用 RAG 技术,结合 AI 推理和知识检索能力,创建更加准确且知识丰富的 AI 响应。

Thales624的博客 1万+

Homebrew 必备软件清单:我的 macOS 开发环境搭建全记录

本文详细介绍了如何使用Homebrew在macOS上搭建高效的开发环境,包括基础配置、核心开发工具链、高效编码工具集等30个必备工具。通过Homebrew这一macOS缺失的包管理器,开发者可以一键安装命令行工具和GUI应用,大幅提升工作效率。文章还提供了日常维护命令和疑难问题解决方案,适合从新手到资深开发者的所有用户。

weixin_28836507的博客 353

L2-028 秀恩爱分得快(测试点3说明)

古人云:秀恩爱,分得快。互联网上每天都有大量人发布大量照片,我们通过分析这些照片,可以分析人与人之间的亲密度。如果一张照片上出现了 K 个人,这些人两两间的亲密度就被定义为 1/K。任意两个人如果同时出现在若干张照片里,他们之间的亲密度就是所有这些同框照片对应的亲密度之和。下面给定一批照片,请你分析一对给定的情侣,看看他们分别有没有亲密度更高的异性朋友?

daybreak_alonely的博客 1412

DeepSeek+LangChain:家教式全流程RAG实战指南

ℹ️RAG全称是Retrieval-Augmented Generation(检索增强生成),一句话解释就是:把问题和相应的参考资料一起给大模型,以期望得到效果更好的模型表现。ℹ️LangChain包含用于开发大语言模型应用的各种功能组件,不仅仅是RAG,所以相较于RAGFlow、HayStack等专门为RAG设计的框架来说,功能更为丰富,更“笨重”,学习门槛更高。第一步,环境准备参见requirements.txt。主要Python库:第二步,模型调用这里使用的DeepSeek官方提供的API。

2401_84204207的博客 2598

车载LIN总线避坑指南:主从节点通信失败的5个常见原因及解决方案

本文深度解析车载LIN总线主从节点通信失败的五大常见原因,涵盖物理层信号异常、调度表冲突、LDF配置错误、节点状态机缺陷及环境干扰。重点剖析了LDF文件配置不一致、波特率不匹配等关键问题,并提供了从示波器波形分析到软件配置检查的完整实战排查路径,帮助工程师高效定位并解决LIN通信故障。

g9h0i1的博客 1250

RAG+LangChain实战部署(非常详细),建筑设计私有知识库从入门到精通,收藏这一篇就够了!

大模型在训练时是包含了海量的建筑设计规范文件的,但是它在回答建筑设计专业问题时仍然会出较多错误。我向网页版Deepseek问了两个问题,它的回答都是错的:

xx_nm98的博客 856

3D视觉-激光三角测量法的概述和原理

激光三角法位移测量的原理是,用一束激光以某一角度聚焦在被测物体表面,然后从另一角度对物体表面上的激光光斑进行成像,物体表面激光照射点的位置高度不同,所接受散射或反射光线的角度也不同,用。激光三角测量法是一种通过图像采集系统采集被测物表面漫反射的激光轮廓,进而基于设备已知的相对位置通过算法处理,获得被测物表面的三维轮廓数据,进而还原目标物体三维空间信息的方法。采用激光三角原理和回波分析原理进行非接触位置、位移测量的精密传感器, 广泛应用于位置、位移 、厚度、半径、形状、振动、距离等几何量的工业测量。

qq_20660115的博客 3921

tsmc12: m0po max length问题(H384.M0_PO.L.1)

手动调整可以挪cell,制造上下两个row相对的至少一个site的空间,通过插普通filler来解决,这里需要注意的是,tsmc12有via0的规则,需要让via0落在via0 grid上。在pt eco之后会有一些m0po max length问题出现,大部分问题都可以通过替换decap来解决,少部分由于局部density过高,需要手动调整。更多学习内容请关注「拾陆楼」知识星球。#ICC2中替换decap的参考脚本。

m0_61544122的博客 791

从入门到精通!DeepSeek+RAG搭建FPGA知识库(保姆级教程),一篇讲透!

一直在想如何让AI 帮我写FPGA 的代码,分析代码,分析资料,不想一直重复造轮子。自从openAI 火爆之后,就一直在探索这条路,以至于求着给它送了不少银子。这是openAI 刚推出GPT Store功能的时候,我就做了一个AI 智能助手,上传自己的私有代码。但是效果一般。

m0_59164520的博客 1110

GEE:基于自定义的年度时序数据集进行LandTrendr变化检测

本文介绍了使用年度时序数据进行LandTrendr变化检测的方法,包括核心函数调用、参数设置和结果可视化。通过筛选参数(年份、变化幅度和持续时间)对结果进行过滤,输出变化年份、变化幅度和持续时间。代码提供了完整的处理流程,包括数据输入、LandTrendr算法运行、结果筛选与可视化,并支持结果导出。适用于基于Google Earth Engine平台的地表变化检测分析。

养乐多的博客 752

DeepSeek+LangChain:家教式全流程RAG实战指南(文末附教学代码)

ℹ️RAG全称是Retrieval-Augmented Generation(检索增强生成),一句话解释就是:把问题和相应的参考资料一起给大模型,以期望得到效果更好的模型表现。 ℹ️LangChain包含用于开发大语言模型应用的各种功能组件,不仅仅是RAG,所以相较于RAGFlow、HayStack等专门为RAG设计的框架来说,功能更为丰富,更“笨重”,学习门槛更高。

zhishi0000的博客 1019

AutoSAR配置视频讲解:总目录

AutoSAR实验视频讲解:闪烁一颗LED实验【总目录】 欢迎大家来到雪云飞星的《AutoSAR实验视频讲解》,本专栏是一个关于AutoSAR的闪烁LED灯的实验课程,一共8节课,每节课的视频都放在文章最后,传送门如下: 前言 AutoSAR实验视频讲解:简介 EB 的Mcal配置 AutoSAR实验视频讲解:Mcal配置 DaVinci Cfg配置 AutoSAR实验视频讲解:新建DaVinci工程 AutoSAR实验视频讲解:Os配置(预计2021-3-10更新) AutoSAR实验视频讲解:检查校验报

雪云飞星的博客 2万+

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

【2025版】LangChain+RAG+Agent本地部署DeepSeek-R1商用级知识库,从零基础到精通,精通收藏这篇就够了!

使用 LangChain 封装的模型实例通过 get_model_instance_by_model_user_id、embed_query、invoke 以及 stream 等方法,实现 LLM 整体调用,无缝对接大语言模型推理服务。构造上下文和消息列表利用 HumanMessage、SystemMessage 等消息类型将系统提示、历史对话、用户输入等进行整合,作为调用 LLM 的输入。调用向量库进行语义检索。

Libra1313的博客 2572

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

LangChain集成DeepSeek实现AI对话,大模型入门到精通,收藏这篇就足够了!

本文介绍如何使用AI开源框架 LangChain,集成调用DeepSeek大模型,实现AI对话功能,并给出Python示例代码。

huang9604的博客 1451

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

从入门到精通:LangChain 超详细综述,这一篇文章就够了!

从入门到精通:LangChain 超详细综述,这一篇文章就够了!

xxue345678的博客 1430

【LangChain】一文读懂RAG基础以及基于langchain的RAG实战,大模型入门到精通,收藏这篇就足够了!

随着大模型应用不断落地,知识库,RAG是现在绕不开的话题,但是相信有些小伙伴和我一样,可能会一直存在一些问题,

pythonhy的博客 975

DeepSeek:RAG本地知识库搭建实战,大模型入门到精通,收藏这篇就足够了!

‌DeepSeek大模型‌:DeepSeek是一款具备强大自然语言处理能力的大模型,能够理解和生成自然语言文本,为知识库的构建提供智能支持。

pythonhy的博客 643

2025 RAG 技术全复盘:年终趋势与实战总结(非常详细),收藏这一篇就够了!

本文是关于AI绘图的万字终极指南。文章系统梳理了AI绘画从GAN到扩散模型的发展史,并深入解析了Stable Diffusion的核心原理。针对不同用户,文章提供了清晰的上手路径:新手可掌握提示词公式,进阶者能学会选择模型和ControlNet等精准控制工具,开发者则可深入理解技术细节。文章强调AI是“能力放大器”,在技术爆发的时代,审美与创意才是核心竞争力。

star_nwe的博客 556

收藏级教程!RAG检索增强生成系统全流程:从原理到DeepSeek实战!

本文详细介绍了RAG(检索增强生成)系统的核心原理与实现方法,包括数据准备、检索和生成三大环节。文章提供了完整的环境搭建指南,从conda环境配置到Langchain框架、Chroma向量数据库和DeepSeek-R1模型的部署,并附有可直接运行的代码示例。通过实际案例展示了如何构建RAG系统,同时分析了其优势与局限性,帮助开发者掌握大模型应用技术。

2401_84204413的博客 885

用外接知识库武装大模型:基于Deepseek、Ollama、LangChain的RAG实战解析

大语言模型(LLM)虽具备广泛的知识覆盖,但在垂直领域或时效性、主观性较强的场景中仍显不足。本文将通过一个导游知识问答系统的代码案例,展示如何利用LangChain框架与Deepseek本地化大模型(Ollama),结合外部知识库(RAG技术),实现精准的领域知识增强。

一个AI从业者的博客 1583
上一篇: 别再只看聊天了!大模型真正的“智商”如何?上海AI实验室发布临床推理能力评估标准,这篇干货太顶了!
下一篇: 一文读懂Agent架构设计:从原理到实现,智能体技术深度解析,建议收藏!
Python_金钱豹
博客等级 码龄5年 1万+粉丝 2835原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值