手搓RAG实体识别第三天

原创已于 2025-09-08 23:16:14 修改 · 603 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#transformer #程序员创富 #python #语言模型

于 2025-09-08 23:11:36 首次发布

手搓RAG实体识别专栏收录该内容

5 篇文章

订阅专栏

周六日休息了两天没干活，咨询AI获取了一些思路。

今天优化了一下第一部分的代码，之前是纯靠deepseek大模型的能力去进行实体识别。

存在一些幻觉问题等，导致后续实体值抽取的时候越走越偏，这次对实体抽取也进行了检索增强，说一下我大概的做法。

1. 把目标实体（也就是正确答案）构建了一个本体库，然后其中只包含实体的名称，然后对其进行向量化。

2. 构建一个prompt，然后利用llm对这个要抽取的内容先进行一个大致抽取，这个对大模型的要求不是很高，也方便后续转到本地部署的小模型。

3. 对第二步抽取到的内容向量化，然后去之前本体构建的向量数据库中做相似度匹配，找到一些语义相关的实体名称。

4. 对第三步中获取到的可能的实体名称列表，然后加上文本内容，让大模型从里面去选，对这些可能的实体进行标记，只让他回答yes/no/unkonw（这一步利用了一个大模型的分类能力，因为我发现分类会比生成减少很多的幻觉现象）。

5. 对分好类的实体列表输出，然后取yes的部分作为抽取到的最后实体列表。

其中会对一些经常出错的，或者大模型很难分辨的，单独提示到第二步的提示词中，进而增加正确率。

这是我最近的一些idea，代码暂时手搓到一半了，明天测试思路效果。

马甲部分：本人纯小白，发表的都是一些简单的想法，希望大家多多批评指正，不吝赐教！！！

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Ning昊啊

关注关注

13
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

实体识别与关系抽取:RAG知识图谱构建的核心任务

AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。

05-03

417

1. 背景介绍知识图谱作为一种结构化的语义知识库，能够有效地组织、管理和理解海量信息，在智能搜索、问答系统、推荐系统等领域发挥着重要作用。构建知识图谱的关键步骤之一是从非结构化文本中抽取实体、关系等知识要素，形成结构化的知识表示。实体识别与关系抽取作为知识图谱构建的核心任务，一直是自然语言处理领域的研究热点。近年来，随着深度学习技术

手搓RAG新增功能：递归检索与迭代查询+重回成熟框架API

wjianwei666的专栏

03-10

239

参与评论您还未登录，请先登录后发表或查看评论

[datawhale202405]从零手搓大模型实战：TinyRAG

qq_40990057的博客

05-20

1723

这个迷你项目手搓了一个最小的RAG系统。之前基于Langchain实现过RAG（不用chain），对RAG结构还算熟悉，因此核心放在构思如何手搓和对照思路与TinyRAG的实现上。 TinyRAG项目中几个使用langchain得不到的小收获： * 使用JSON做persistent * cosine similarity的计算和加速 * chunk的切割方法

原始文明发明了核弹技术？——手搓一个RAG机器人，构建AI和搭积木一样简单

mumuzecc的博客

08-18

1750

这里首先定义了提示词模板, chart_reading_prompt, 我们输入的图片会边恒base64格式的string传输给它将处理好的提示词输入给char_reading, 也就是microsoft/phi-3-vision大模型来进行数据分析, 得到我们需要的表格或者说table变量将Phi3 vision处理好的table和提示词输入给另一个大模型llama3.1, 修改数据并生成代码将生成的代码通过上面的执行函数来执行python代码, 并得到结果# 根据“表格”决定是否读取图表。

从零手搓大模型之路（二、手搓一个RAG）

不负韶华不负己

05-20

1307

第二堂是动手构建一个Tiny-RAG，也就是RAG的简化版本，只包含RAG的核心功能Retrieval和Generation。整体看完源码，并听完相应的视频讲解，内容感觉还算是很容易明白，本博文记录下自己感觉相对重要的以及一些思考（持续补充）。Tiny-RAG构建检索增强生成技术（Retrieval-Augmented Generation，RAG），它的出现主要是解决大模型的“幻觉”问题，即当询问者询问一些大模型训练数据不包含的数据（如询问一些时效性比较强的或者是专业性比较强的问题），大模型可能会。

从零手搓一个 RAG智能体，抱紧大模型时代的“大腿”！（深入学习之内附超详细步骤及代码）

lizhijianwill的博客

02-23

866

🤯 这可不是你提问的姿势不对，而是大模型“一本正经地胡说八道”了，也就是所谓的“幻觉”(Hallucination)。如果把大模型比作一个“学霸”，那么 RAG 就像是给这位“学霸”配备了一位“超级图书管理员”和一本“百科全书”。有了这两样“神器”的加持，“学霸”在回答问题时，不仅能引经据典，还能结合最新信息，给出更准确、更全面的答案。我们需要一个“仓库”来存储“知识碎片”及其“数字指纹”，并能根据问题快速找到最相关的“碎片”。如果给定的上下文无法让你做出回答，请回答数据库中没有这个内容，你不知道。

菜鸟三天手搓一个RAG机器人的感受--参加英伟达夏令营有感

2401_86663727的博客

08-18

952

三天手搓RAG机器人--参加英伟达训练营的感受我们将训练一个不但能懂用户心理，能通过文字对话交互去理解支持用户快速摆脱负面情绪，而且能视觉识别用户微表情、判断用户心理的、全面立体更懂用户的RAG对话多模态机器人，解决心理健康行业传统四大壁垒，让世界更美好。

手搓 AI Agent + RAG 智能检索自动化执行任务工具

ligy2005的专栏

10-15

1539

本文介绍了CognosAI项目的开发过程，这是一个融合AIAgent与RAG技术的自动化任务工具。项目旨在通过智能体协作实现端到端任务执行，覆盖从需求分析到部署的完整开发生命周期。系统采用模块化架构，包含知识管理、RAG增强、多智能体协作等核心功能，支持任务可视化与用户干预。开发过程中解决了维度匹配、执行效率、任务规划等关键技术挑战，最终实现了具备自主规划、上下文感知、自我修正等能力的智能系统。文章还探讨了当前存在的LLM非确定性、资源消耗等改进空间，为未来AI智能体开发提供了实践参考。

基于DeepSeek手搓一个Rag知识库（手把手，个人电脑也能玩哦）

2401_84204207的博客

05-10

1107

本文介绍了RAG（Retrieval-Augmented Generation，检索增强生成）系统的核心原理、环境搭建及代码实现。RAG通过结合信息检索与大语言模型，从外部知识库中检索相关内容，并利用大模型生成自然语言回答，有效减少传统模型的“幻觉”问题。文章详细描述了RAG系统的三部分核心逻辑：数据准备、数据检索和LLM生成环节，并指出其优缺点。此外，文章还提供了基于Langchain、Chroma和DeepSeek-R1的RAG系统搭建步骤，包括环境配置、模型部署及代码实现。最后，文章总结了人工智能时代

用 LangChain 手搓 RAG 系统：从原理到实战

shuizhudan223的博客

04-25

1207

在当今信息爆炸的时代，如何高效地从海量数据中获取有价值的信息并生成准确、自然的回答，成为了人工智能领域的重要课题。检索增强生成（Retrieval-Augmented Generation，RAG）系统应运而生，它结合了信息检索（IR）和自然语言生成（NLG）技术，能够在生成回答时利用外部知识库的信息，显著提高回答的准确性和可靠性。RAG 系统的核心思想是：首先通过检索模块从知识库中查找与用户问题相关的文档或段落，然后将这些检索到的信息输入到生成模型中，生成最终的回答。

基于LLM和检索增强RAG的的命名实体识别.zip

08-25

近年来，随着深度学习技术的发展，命名实体识别技术取得了显著的进步，而LLM（Language Model）和RAG（Retrieval-Augmented Generation）模型在其中扮演了重要角色。 LLM即语言模型，是一种用于预测下一个单词、...

RAG vs 意图识别：AI领域的新较量

weixin_45312236的博客

05-29

3892

总的来说，RAG是一种增强语言模型回答能力的框架，它通过检索和利用外部知识来生成回答；意图识别是对话理解的一部分，它帮助系统理解用户的意图并作出相应的反应。两者的选择应基于具体的应用需求、系统设计和预期的用户交互方式。两者在构建交互式AI系统中扮演着不同但互补的角色。RAG适合于需要结合大量。

TinyRAG：别再被 LLM 忽悠了！手搓 RAG，掌控 AI 的“知识命脉”

JasonRobert

02-16

879

你是否也曾被 LLM（大型语言模型）的“智能”所震撼？它们能写诗、作画、编代码，甚至和你聊天……但，你是否也曾发现，这些看似无所不能的 AI，有时也会“一本正经地胡说八道”？这并非危言耸听。：世界瞬息万变，LLM 的“记忆”却可能停留在过去。：训练数据可能只覆盖了某些领域，导致 LLM 在其他领域“无知”。：训练数据本身就可能包含错误信息，导致 LLM “以讹传讹”。：LLM 强大的生成能力，有时也会“创造”出不存在的事实，即“幻觉”。

多因素考量，探寻场外期权合约期内的潜力股

Lunasi的博客

08-13

951

随着技术的持续突破和市场需求的扩张，这些行业里的领军企业往往能够实现业绩的迅速攀升，进而推动股价上扬。对于传统行业而言，关注其转型升级的契机以及行业整合造就的优势企业崛起，也是寻觅潜力个股的方法之一。同时，公司的竞争实力和市场地位也极为重要。综上所述，挑选在场外期权合约期限内有上涨空间的潜力个股，需要综合考量宏观经济、行业趋向、公司基本面、技术分析、时间因素、市场情绪和资金流向等多方面因素。投资者应依据自身的风险承受能力和投资目标，合理配置资产，并在投资过程中坚持学习和反思，不断提升自己的投资水平。

Python Pandas多列合并成一长列(扁平化)

视觉算法小趴菜的博客

11-29

427

本文介绍了Pandas中三种数据扁平化方法：melt()按变量名和值两列重组数据，concat()垂直拼接多列，stack()将多列转为单列。测试数据显示melt()保留原列名信息，concat()和stack()仅保留数值。三种方法各有特点，适用于不同的数据扁平化需求。

人工智能领域博客

11-28

1859

摘要：本文详细解释了Spark Driver端与Worker端在OSS认证上的核心区别。Driver端通过Spark配置自动认证，而Worker端（独立Python进程）需显式提供认证信息。认证来源优先级为：1)Driver传递参数，2)环境变量，3)IAM角色。文章分析了架构差异导致的不同认证方式，并推荐从Driver传递认证信息的解决方案。当前实现已采用该方案，通过Spark配置或环境变量获取认证后传递给Worker进程，确保PyArrow能正确访问OSS数据。

python中快速更新ini文件之方法~

最新发布

英布之剑的优快云 Blog

12-02

Python标准库中的configparser模块可方便读写INI格式配置文件。通过ConfigParser()创建对象，使用read()读取文件，set()修改键值，write()保存更改。示例代码展示了更新INI文件的完整流程：创建解析器、读取文件、修改指定分组下的键值、保存修改并清理对象。使用前需导入configparser模块。该方法简单高效，适用于处理标准INI格式的配置文件。

遗留Python包中的漏洞代码可通过域名劫持攻击Python包索引

FreeBuf_的博客

11-28

469

遗留Python包漏洞可致供应链攻击，域名劫持风险威胁PyPI生态。

RAG 意图识别

04-02

<think>好的，我需要回答用户关于RAG模型在意图识别中的应用的问题。首先，我得回顾一下RAG模型的基本概念。RAG结合了检索和生成，通过检索相关文档来辅助生成回答。这在开放域问答中很常见，但用户关心的是意图识别方面的应用。意图识别通常属于自然语言理解（NLU）的范畴，传统方法可能依赖预定义的意图和大量标注数据。但用户提到的引用[3]指出意图识别在处理复杂查询时可能不够灵活，需要大量数据，并且更新维护成本高。RAG或许能通过检索外部知识来弥补这些不足。接下来，我需要思考RAG如何具体应用到意图识别中。可能的思路是，当用户输入一个查询时，RAG可以先从知识库中检索相关的意图示例或上下文信息，然后利用生成模型分析这些信息来确定意图。例如，在客服场景中，用户的提问可能涉及多个潜在意图，通过检索类似的历史对话，模型能更准确地识别当前意图。引用[1]提到的QRM模型学习奖励的分布，可能帮助模型处理多样化的用户偏好，这对意图识别中的多样性可能有借鉴意义。而引用[2]中提到的RASA NLU涉及意图识别，结合RAG可能提升其灵活性和泛化能力。需要考虑的挑战包括如何有效检索相关意图信息，避免引入噪声，以及如何平衡检索和生成部分的协作。此外，实时性要求高的场景可能需要优化检索效率。最后，生成相关问题时要围绕应用场景、优势、技术挑战、与传统方法对比，以及如何改进RAG模型在意图识别中的表现。确保问题有针对性，帮助用户深入理解。</think>### RAG模型在意图识别中的应用分析 #### 1. RAG模型的基本原理 RAG（Retrieval-Augmented Generation）模型结合了检索（Retrieval）与生成（Generation）能力，通过从外部知识库中检索相关文档片段，辅助生成模型更精准地输出结果。其核心公式为： $$ P(y|x) = \sum_{z \in Z} P(z|x) \cdot P(y|x,z) $$ 其中$x$是输入，$z$是检索到的文档，$y$是最终输出[^1]。 #### 2. 在意图识别中的具体应用 - **增强语境理解**：RAG可通过检索与用户查询相关的历史对话或知识库内容，补充上下文信息。例如，当用户输入“帮我取消订单”时，模型可检索到订单管理相关的流程文档，辅助判断意图为“订单取消”而非“物流查询”[^3]。 - **处理模糊表达**：对于语义模糊的查询（如“这个功能不好用”），RAG可检索类似场景下的用户反馈，结合领域知识更准确地映射到“功能投诉”或“操作指导请求”等意图。 - **动态更新意图库**：传统意图识别依赖静态标注数据，而RAG通过检索模块可实时接入更新的知识库，减少因业务变化导致的模型失效[^2]。 #### 3. 技术实现步骤 1. **检索阶段**：使用双编码器（Dual Encoder）将用户输入与知识库中的意图描述进行相似度匹配，例如： $$ \text{similarity}(q, d) = f_{\text{enc}}(q)^T f_{\text{enc}}(d) $$ 2. **生成阶段**：将检索到的Top-K意图候选输入生成模型，结合上下文进行意图分类或生成响应。 #### 4. 优势对比传统方法 | 维度 | 传统意图识别 | RAG增强方法 | |--------------|--------------------------|--------------------------| | 数据依赖性 | 需大量标注数据 | 可借助非结构化知识库 | | 泛化能力 | 受限于预定义意图集 | 支持开放式意图推理 | | 更新成本 | 需重新标注和训练 | 仅更新知识库内容 | | 复杂查询处理 | 易受语义变化影响 | 通过检索增强鲁棒性 | #### 5. 挑战与解决方案 - **检索噪声干扰**：采用层次化检索策略，先过滤领域无关内容，再细粒度匹配意图。 - **实时性要求**：使用近似最近邻（ANN）算法优化检索速度，如Faiss或HNSW索引。 - **多语言支持**：结合多语言嵌入模型（如LaBSE）实现跨语言意图识别。