RAG:在LangChain中使用本地向量embedding模型

LLM大模型基础知识【一】 大语言模型(LLM):是指在自然语言处理(Natural Language Processing,NLP)领域中的一类大模型,通常用于处理文本数据和理解自然语言。这类大模型的主要特点是它们在大规模语料库上进行了训练,以学习自然语言的各种语法、语义和语境规则。例如:GPT系列(OpenAI)、Bard(Google)、文心一言(百度)。视觉大模型:是指在计算机视觉(Computer Vision,CV)领域中使用的大模型,通常用于图像处理和分析。 阅读详情
AI摘要

本文介绍向量模型在RAG系统中的关键作用,包括信息检索、语义相似度评估及上下文理解,通过实例展示如何在langchain中使用自定义向量模型,并提供环境依赖与代码示例。

向量模型是RAG系统中实现有效信息检索和生成的关键技术之一,它们使得系统能够处理复杂的语言理解任务,并生成更加准确和相关的输出。

向量模型将文本转换为向量形式,便于在高维空间中进行快速的相似性检索,这是RAG系统中检索相关信息的基石。通过向量化,模型能够评估不同文本之间的语义相似度,即使在词汇不完全匹配的情况下也能找到语义相关的文档。向量模型帮助系统捕捉输入查询的上下文信息,这对于理解用户意图并检索最相关的信息至关重要。

本篇文章将为大家介绍在langchain中使用自己向量模型的方法,帮助大家扫清障碍快速搭建RAG和Agent流程。

环境依赖

本示例用到的安装包如下:

pip install torch langchain sentence_transformers 

模型选择

向量模型可以去MTEB榜单上找,发掘一个适合自己业务的模型。目前榜单如下:

图片

# 榜单地址
https://huggingface.co/spaces/mteb/leaderboard

本文采用bge-m3模型作为例子,其是向量维数为1024维,支持的最大长度为8192,是一个支持多语言的模型,目前效果还算比较好。后面会专门写一篇文章介绍向量模型如何选择和评测。以下是bge-m3的一些信息:

图片

示例代码

直接上代码,可以直接用在自己的项目中:

在这里插入图片描述
在这里插入图片描述

正确运行后,输出的结果是1024,即代表query被向量化后的维数为1024维;
​

如何学习大模型

现在社会上大模型越来越普及了,已经有很多人都想往这里面扎,但是却找不到适合的方法去学习。

作为一名资深码农,初入大模型时也吃了很多亏,踩了无数坑。现在我想把我的经验和知识分享给你们,帮助你们学习AI大模型,能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习,等录播视频免费分享出来,需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向,东学一点西学一点,像只无头苍蝇乱撞,我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

在这里插入图片描述

二、AI大模型视频教程

在这里插入图片描述

三、AI大模型各大学习书籍

在这里插入图片描述

四、AI大模型各大场景实战案例

在这里插入图片描述

五、结束语

学习AI大模型是当前科技发展的趋势,它不仅能够为我们提供更多的机会和挑战,还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型,我们可以深入了解深度学习、神经网络等核心概念,并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时,掌握AI大模型还能够为我们的职业发展增添竞争力,成为未来技术领域的领导者。

再者,学习AI大模型也能为我们自己创造更多的价值,提供更多的岗位以及副业创收,让自己的生活更上一层楼。

因此,学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。

总结之LangChain(一)—— 简单使用LangChain LangChain官网:https://python.langchain.com/v0.2/docs/introduction/LangChain 是一个基于大型语言模型(LLM)开发应用程序的框架。开发:使用 LangChain 的开源构建模块和组件构建应用程序。使用第三方集成(opens in a new tab)和模板(opensin a new tab)快速上手。生产化:使用LangSmith检查、监控和评估你的链条,以便你可以持续优化和自信地部署。 阅读详情

相关推荐

从原理到实战:Embedding模型如何驱动RAG系统实现精准语义检索

在人工智能与自然语言处理领域,将非结构化的文本数据转化为机器可理解的数值表示,是实现语义理解的基础。其核心原理在于通过深度神经网络(如Transformer的Encoder部分)对文本进行上下文编码,将高维、稀疏的词语映射为低维、稠密的语义向量。这一过程,即encoder得到embedding,使得语义相近的文本在向量空间中距离更近。该技术的核心价值在于为海量文本信息建立了可计算、可比较的数学基础,从而支撑起智能搜索、推荐系统、文本分类等上层应用。尤其在当前热门的检索增强生成(RAG)架构中,高质量的文本向

weixin_33919950的博客 317

I那么厉害,简单三步让你免费拥有自己的大模型

系统:windows10或windows11显卡:RTX4090或同等显存以上的显卡打开https://docs.docker.com/desktop/release-notes/下载最新的版本并安装docker desktop编辑配置1编辑配置2在https://huggingface.co/注册并获取在D盘新建D:\docker\huggingface文件夹,管理员身份运行powershell并运行以下命令:查看日志看到日志输出以下信息代表模型运行成功部署web端聊天程序。

xxue345678的博客 1056

本地部署RAG与SFT全链路实战:从Embedding服务到私有模型微调

检索增强生成(RAG)与有监督微调(SFT)是当前构建智能应用的两大核心技术路径。RAG通过将外部知识库向量化并检索,为大语言模型提供实时、准确的上下文信息,有效缓解模型幻觉问题,其核心在于Embedding模型将文本转换为向量表示,并结合向量数据库实现高效相似度匹配。SFT则通过特定领域数据对预训练模型进行微调,使其深度掌握专业知识和任务范式,从而获得更精准的领域回答能力。这两项技术共同构成了从外部知识利用到内部能力定制的完整解决方案,尤其适用于构建企业级私有知识问答系统、定制代码助手或升级客服机器人等场

weixin_29053695的博客 279

LangChain学习

单独的GPT-4可能知道很多关于世界各地的信息,但如果不能实时查找最新的航班信息或者酒店价格,它提供的旅行建议可能就不够准确或实用。通过LangChain,开发人员可以更轻松地管理与语言模型的交互,无缝地连接多个组件,并集成额外的资源,如API和数据库等,以加强应用的能力和灵活性。LangChain的优势在于为开发人员提供了一个便捷的框架,使其能够更高效地构建应用程序,利用最先进的语言模型和对话系统,同时能够灵活地定制和整合其他必要的资源,为应用程序的开发和部署提供了更大的灵活性和便利性。

我是大好人的博客 3974

2024实战RAG开发路径:Python+LangChain+FastAPI三月落地指南

RAG(检索增强生成)作为当前AI应用落地的核心范式,其本质是将非结构化知识转化为可计算、可调度、可验证的向量数据流。理解其原理需聚焦数据清洗、向量检索、提示工程与服务封装四层闭环,技术价值在于规避大模型幻觉、降低私有知识调用门槛、支撑中小团队快速交付生产级AI功能。典型应用场景包括智能客服、法律合同分析、企业文档问答等垂直领域。本实践指南以Python为基座、LangChain为编排框架、FastAPI为服务出口,提供2024年第三季度真实可用的RAG开发施工图,覆盖从PDF文本解析、bge-m3向量化、

weixin_33309048的博客 329

大模型基础01:理论与技术的演进概述

大语言模型(英文:Large Language Model,缩写LLM) 是指参数规模极大的神经网络语言模型,大模型的基础理论主要包括深度学习理论、表示学习理论、迁移学习理论、模式识别理论、计算学习理论、分布式计算理论和统计语言模型理论,大模型集成了这些计算机科学核心理论的精华。通过大数据预训练加小数据微调,大大降低了使用门槛,将人工智能技术带入了一个新的阶段。

AaronZZH 的博客 4489

Embedding 与向量数据库简单应用——从文本向量化到RAG检索增强生成

本文从"什么是 RAG"出发,先解释为什么需要 Embedding,再逐步介绍 OpenAI Embedding、本地私有化部署 Qwen3/BGE 嵌入模型、自定义 Embedding 与 LangChain 整合,接着实操 FAISS 与 Chroma 向量数据库的增删改查,最后结合 Web 文档加载与文本分割,完成一个支持上下文感知的完整 RAG 对话链路。

M_Love_U的博客 570

Databricks Genie:语义编译器架构与企业级智能解析实践

语义层是现代数据平台实现自然语言查询的核心基础,其本质是将业务术语映射为可执行、可治理的数据契约。原理上依赖结构化元数据、值字典与数据血缘三支柱协同,通过分层AI代理(如Intent Parsing、Retriever、Verifier)实现意图识别→语义对齐→安全执行的闭环。技术价值在于降低SQL使用门槛的同时保障审计性、一致性和权限可控性,适用于销售运营、财务分析等一线业务场景。本文深入解析Databricks Genie作为典型语义编译器的落地逻辑,涵盖Unity Catalog知识注入、七层Agen

weixin_29053695的博客 337

本地部署 langchain-ChatGLM

大型语言模型(LLM)正在成为一种变革性的技术,使开发者能够建立他们以前无法建立的应用程序。然而,孤立地使用这些LLM往往不足以创建一个真正强大的应用程序–当你能将它们与其他计算或知识来源相结合时,真正的力量才会出现。这个库的目的是协助开发这些类型的应用。langchain 使用 Transformer 模型,并在多个语言间建立链式结构实现翻译。比如,它可以通过英语→法语→西班牙语完成英语到西班牙语的翻译。langchain 只使用公开数据集进行训练,不需要额外的数据。WMT2014英法翻译数据集。

kuokay的博客 4581

如何使用ArcGIS自动矢量化建筑

在显示的重分类对话框内,输入栅格选择提取单波段后的栅格,重分类分为三个层级,旧值分别为100-249、250-251和252-255,对应新值为1、2和3,旧值的最小和最大值不用修改,保持和原有的一致。同样在ArcToolbox内点击Spatial Analyst工具点击“重分类\重分类”,在重分类对话框内输入栅格选择之前重分类过后的图片,将旧值3的新值设置为1,这样分类后就只有两类。在显示的新建Shapefile对话框内,名称命名为折线,要素类型选择折线,点击编辑,设置坐标系为WGS 1984。

2165

Claude Code 实战指南:从入门到高效编程

本文是一份Claude Code实战指南,旨在帮助开发者从入门到精通这款AI编程助手。文章详细讲解了如何通过清晰的指令公式与Claude Code高效沟通,并展示了如何将其深度集成到日常开发工作流中,例如理解陌生代码、调试和生成测试文档。指南还提供了避坑建议与最佳实践,并通过构建一个天气查询CLI工具的完整案例,演示了如何利用Claude Code加速开发进程,实现从设计到代码的高效人机协作。

weixin_28339967的博客 484

避坑指南:用LangChain+DeepSeek R1搭建本地知识库时,我遇到的5个坑和解决方案

本文分享了使用LangChain和DeepSeek R1搭建本地知识库时常见的5个问题及解决方案,包括Ollama模型版本选择、LangChain API变化、向量化模型选择、ChromaDB持久化路径权限问题和RAG检索链参数调优。通过实战经验,帮助开发者高效构建稳定的问答系统,提升本地知识库的检索效果和响应速度。

weixin_33737134的博客 381

原子力显微镜AFM图像处理软件Gwyddion使用教程(图文)

Gwyddion使用教程Gwyddion简介Gwyddion user guide下载地址本次教程用的AFM扫描图像下载地址AFM/STM校准样品Gwyddion使用step1step2step3step4step5step6step7step8你没见过的CD磁道到底长啥样一张图总结 Gwyddion简介        &nbs...

王纯配的博客 5万+

大模型知识瓶颈?RAG技术方案,本地部署解决幻觉与安全难题!

摘要: 大模型(LLM)在专业场景下面临知识局限、幻觉问题和数据安全等挑战。检索增强生成(RAG)技术通过结合外部数据检索与模型生成,有效缓解这些问题。本文以LangChain为例,展示了RAG的完整流程:加载本地文本数据→文档分割→向量化存储→语义检索→生成增强回答。实践案例使用m3e-base模型嵌入和Chroma向量数据库,最终通过本地部署的Llama3生成回答,验证了RAG在提升回答准确性、实时性和数据安全性方面的优势。

WANGJUNAIJIAO的博客 461

【WILEY】从Revision到Online:一次投稿的完整状态演进与关键节点实战解析

本文详细解析了从Revision到Online发表的完整投稿流程,包括修改稿准备、回复信撰写、状态跟踪等关键节点。特别针对Wiley期刊,提供了实用的操作技巧和常见问题解决方案,帮助作者高效完成论文修改与发表。

weixin_29219189的博客 361

OFDR解调全同弱反射光纤阵列

全同弱反射光纤光栅阵列是在一根光纤上密集刻写波长相同的WFBG,由于每个光栅的反射都比较弱,可实现一根光纤上复用成千上万个光栅,阵列上每个光栅栅区长度相同,相邻光栅之间栅距相同,呈周期性分布。2、获取测量信号:对弱栅阵列加载状态下,使用OFDR系统再次获取弱栅时域曲线,为测量信号。(这里需要注意的是对弱栅阵列加载后,不能使弱栅中心波长漂移到激光器波长扫描范围之外,若超出范围则OFDR技术不能获取弱栅反射信号,因此在选择弱栅阵列波长时尽量让其中心波长在激光器波长扫描范围中间,确保温度/应变测量范围。

m0_69386663的博客 1956

LangChain+ChatGLM实现本地知识库:从PDF加载到向量检索全链路

一、为什么要做本地知识库?用过ChatGPT的人都有这种体验:问它“我上个月写的那个项目文档里写了什么”,它只能给你一个抱歉的表情。大模型虽强,但它的知识截止到训练数据那一天,你的私有文档它一概不知。本地知识库问答系统(也叫RAG,检索增强生成)要解决的正是这个问题。核心思路很简单:不让大模型凭空回答,而是先从你的文档里找到相关内容,再让模型基于这些内容生成答案。这样一来,既能保护数据隐私(一切在本地运行),又能让模型回答你专属的问题。整个流程分两个阶段:离线阶段把本地文档切碎、向量化、存进数据库。

Hang_Tech的博客 585

Android功耗系列专题理论之二十一:Power Monitor测功耗详细说明和注意事项

本文详细介绍了PowerMonitor手机功耗测试仪的功能与使用方法。该设备通过硬件连接替代手机电池,实时监测电流、电压等参数,适用于研发测试、软件优化等场景。文章包含设备接线说明(电源、USB、手机供电等接口)、驱动安装步骤及常见问题排查,并详细讲解了功耗测量操作流程,包括电压设置、开机步骤、数据采集与导出方法。特别强调了测量注意事项,如固定屏幕亮度、关闭后台应用、确保稳定连接等,以确保测试数据准确性。最后提供了简易测量步骤和详细测量流程指导。

596

Langchain-Chatchat配置文件详解:自定义参数调优指南

深入解析Langchain-Chatchat的核心配置,涵盖文本切分、向量嵌入、检索策略与本地大模型参数调优。通过合理设置chunk_size、embedding模型选择、FAISS检索参数及LLM生成控制,显著提升私有知识库问答准确性。针对中文场景推荐BGE等专用模型,并强调本地部署下数据安全与性能平衡的实践要点。

weixin_42579969的博客 1009

把静态前端托管进 SAP BTP:HTML5 Application Deployer 与企业级内容部署全攻略

本文介绍了在SAP BTP Cloud Foundry环境中使用HTML5 Application Repository托管前端静态资源的工程化实践。通过HTML5 Application Deployer工具,结合MTA描述、路由配置和服务实例,实现前后端解耦和标准化部署。文章详细阐述了目录结构、关键配置文件、MTA编排以及构建部署流程,并针对大体积前端资源提供了GACD和异步上传两种解决方案。最后说明了如何与AppRouter协同工作,使部署内容可供终端用户访问。这套方法使前端更新无需重启后端,支持团队

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 155

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

RAG 实战 (上):构建向量知识库

本文介绍了如何通过RAG(检索增强生成)技术让大模型处理私有数据,包括PDF、Markdown文档和网页内容。主要内容涵盖: 数据加载:使用PyPDFLoader、TextLoader和WebBaseLoader等工具加载不同类型的数据源,支持批量处理目录文件。 文本分割:重点讲解了RecursiveCharacterTextSplitter的分块策略,包括chunk_size和chunk_overlap参数的设置技巧,以及基于Token的分割方法。 向量存储:比较了OpenAI和本地BGE模型的优劣,并演

2301_80541270的博客 665

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

二、LangChain之认识嵌入式模型

它理解输入并生成新的文本(回答问题、写文章)。它内部实际上也使用 嵌入技术来理解输入,但最终目标是“创造”。它的而是由于计算机天生擅长处理数字,但不理解文字、图片的含义。嵌入(Embedding)的核心思想就是(如单词、句子、产品、用户、图片)(即, 本质上是一个,并且要求这种转换能够我们可以把它想象成一个翻译过程,把人类语言“翻译”成计算机的“数学语言”。结论:既然是“数学语言”,那么我们可以用数学的方式来比较向量,从而达到【度量语义】的目 的!

2301_79176091的博客 383

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

RAG 实战踩坑指南:突破阿里云向量模型单次 20 条限制与替代方案

最直观的解决思路是在调用前,用 Python 对文本列表进行分片(Chunking/Batching),每 20 条发送一次,最后将结果合并。

hirsecGr的博客 221

从零构建RAG系统:Embedding模型、文本分块与向量数据库实战指南

检索增强生成(RAG)是一种解决大模型知识局限性的关键技术范式,它通过引入外部知识库,让模型在生成答案前先检索相关资料,从而提升回答的准确性和时效性。其核心原理在于将文档转化为向量表示,利用向量相似度进行高效检索。这项技术的核心价值在于能以较低成本让大模型获取私有、实时知识,避免了昂贵的模型微调和长上下文带来的性能问题。在应用场景上,RAG广泛适用于企业知识库问答、智能客服、文档分析等领域。本文聚焦于RAG系统的三大支柱:Embedding模型负责将文本转化为语义向量,文本分块策略决定如何切割文档以保持语义

weixin_30786657的博客 407

gpt:RAG步骤

这一步确实就是 RAG:不是“训练模型”,而是把官方 HTML 文档整理成可检索知识库,让 agent 写脚本前先查文档、再生成 TCL。你的场景很适合做成“文档检索工具 + 执行工具”两类工具。已思考 5s对,你说的就是。但你这里不要一上来搞复杂,建议先做成这个结构:LangChain 官方 RAG 文档也是这个思路:用 loader 加载资料、splitter 切块、embedding 编码、vector store 检索,再把检索结果交给模型使用。

m0_68339197的博客 419

RAG实战笔记(二)LangChain / LlamaIndex 框架入门

温馨提示:结合资源学习效果更加!配套代码路径:src/qa_chain.py、src/retriever.py。详见项目文件资源csdn平台地址:csdn资源--“新手可入门,一套可运行、可配置、可二次开发的私有知识库问答系统完整源码 + 教程笔记 + 工具脚本”资源文件目录展示项目名称:从零搭建一套完整的 RAG 私有知识库问答系统 ,下面我以此作为示例进行分析学习。

GreenHands495的博客 355
上一篇: 开发RAG应用,你必须知道的7个Embedding模型
下一篇: AI Agent 在 1688 电商平台中的应用
AI_小站
博客等级 码龄3年 6255粉丝 1152原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值