手搓RAG实体识别第二天

原创 已于 2025-09-08 23:14:53 修改 · 204 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #llama #faiss

于 2025-09-05 23:05:32 首次发布

今天第二天，因为调用的都是大模型的api和huggingface的一些开源模型，代码已经都写完了。

项目差不多分为两步！

第一部分是写提示词指导大模型去文档中提取关键词，这一步中已经明显的感觉到了大模型幻觉问题，已经给了很明显的提示，还是不能较好的完成需求。总会出现一些答非所问的东西

第二部分是用的rag流程，将文档按照大标题分块，然后向量化，然后利用提取的实体去检索向量数据库，去匹配相关性高的句子，然后提取对应实体参数。这一步中遇到两个问题，第一个就是第一步中的实体不准确；第二个是实体和句子不是很相关。

总体来说第一天跑的效果不是很理想！

接下来计划优化遇到的问题。

在第一步中也使用RAG技术，构建一个需要识别的本体库，然后提取文档中相关的片段去本体库中检索，找到候选集之后让大模型去选，我感觉会比让大模型生成要效果好一点，做分类可以避免大模型部分幻觉问题。

在第二步中的话，暂时想的是优化一下相似度匹配的算法吧，再换一些分块方式，进一步看看后续优化情况。

今天任务大致汇报这些，这是我个人的一些想法！欢迎各位大佬，前辈批评指正。

实体识别与关系抽取:RAG知识图谱构建的核心任务
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
05-03 421
1. 背景介绍 知识图谱作为一种结构化的语义知识库，能够有效地组织、管理和理解海量信息，在智能搜索、问答系统、推荐系统等领域发挥着重要作用。构建知识图谱的关键步骤之一是从非结构化文本中抽取实体、关系等知识要素，形成结构化的知识表示。实体识别与关系抽取作为知识图谱构建的核心任务，一直是自然语言处理领域的研究热点。 近年来，随着深度学习技术
菜鸟三天手搓一个RAG机器人的感受--参加英伟达夏令营有感
2401_86663727的博客
08-18 957
三天手搓RAG机器人--参加英伟达训练营的感受 我们将训练一个不但能懂用户心理，能通过文字对话交互去理解支持用户快速摆脱负面情绪，而且能视觉识别用户微表情、判断用户心理的、全面立体更懂用户的RAG对话多模态机器人，解决心理健康行业传统四大壁垒，让世界更美好。
手搓RAG实体识别第三天
NhaoAI的博客
09-08 609
作者分享了实体识别优化方案，通过构建向量化的本体库，结合检索增强技术，采用多步处理流程（初步抽取→语义匹配→分类筛选）来减少大模型的幻觉问题。该方法利用大模型的分类能力（yes/no/unknown）提高准确性，并对常见错误进行针对性优化。目前代码开发中，即将测试效果。作者谦虚表示方案尚不成熟，欢迎指正。
手搓RAG实体识别第五天
NhaoAI的博客
09-14 220
本文总结了作者完成的一个小demo项目经验。该项目聚焦于医疗领域的RAG文档识别流程，主要涉及实体识别和实体信息提取两个关键步骤。在实体识别方面，建议构建知识库辅助大模型选择而非直接生成；在信息提取环节，作者发现直接传递全文虽简单但存在token浪费问题，而分块处理效果不佳可能与分块方式或相似度算法有关。文章最后指出未来可优化方向包括开发通用医疗RAG流程和改进长文档处理方法，并感谢读者指正。
手搓 AI Agent + RAG 智能检索 自动化执行任务工具
ligy2005的专栏
10-15 1548
本文介绍了CognosAI项目的开发过程，这是一个融合AIAgent与RAG技术的自动化任务工具。项目旨在通过智能体协作实现端到端任务执行，覆盖从需求分析到部署的完整开发生命周期。系统采用模块化架构，包含知识管理、RAG增强、多智能体协作等核心功能，支持任务可视化与用户干预。开发过程中解决了维度匹配、执行效率、任务规划等关键技术挑战，最终实现了具备自主规划、上下文感知、自我修正等能力的智能系统。文章还探讨了当前存在的LLM非确定性、资源消耗等改进空间，为未来AI智能体开发提供了实践参考。
基于DeepSeek手搓一个Rag知识库（手把手，个人电脑也能玩哦）
2401_84204207的博客
05-10 1118
本文介绍了RAG（Retrieval-Augmented Generation，检索增强生成）系统的核心原理、环境搭建及代码实现。RAG通过结合信息检索与大语言模型，从外部知识库中检索相关内容，并利用大模型生成自然语言回答，有效减少传统模型的“幻觉”问题。文章详细描述了RAG系统的三部分核心逻辑：数据准备、数据检索和LLM生成环节，并指出其优缺点。此外，文章还提供了基于Langchain、Chroma和DeepSeek-R1的RAG系统搭建步骤，包括环境配置、模型部署及代码实现。最后，文章总结了人工智能时代
手搓大模型智能体实战经验
机器学习社区
06-16 1591
初次接触生成式 AI 还是之前的 GAN 和22年的 Midjourney，当时对生成式 AI 的看法是确实挺有意思，但是跟我一个做 NLP 的产品关系不大，顶多也就是玩一玩画图然后发朋友圈。彼时 NLP 在国内处于相对停滞期，用 bert 做对话系统、搭建知识图谱做推理和 KBQA，这些流程都已经很成熟和程式化了，身边也有很多曾经的 NLPer 转向了搜索推荐和更偏业务的知识库方向。
基于 Spring AI Alibaba 的 RAG 架构调优实践
musicml的博客
05-08 1032
查询翻译是 RAG 系统中的一项便捷功能，它允许将用户的查询从一个语言版本转换为另一个语言版本。Spring AI Alibaba 提供了一种高效的查询扩展功能，能够自动产生多个相关的查询版本，进而提升搜索的精确度和覆盖率。这一步骤的关键价值在于，优质的知识切割如同图书馆的分类系统，决定了检索效率。”的查询时，系统将生成多个从不同视角出发的查询。查询改写是 RAG 系统中的一项关键优化手段，它通过将用户的原始查询转化为更加规范和明确的查询形式，从而提升搜索的精确度，并协助系统更准确地把握用户的真正需求。
Agent、AIGC、具身智能大模型方向的商业案例集锦
素质云笔记
05-05 5068
Agent、AIGC、具身智能的商业案例集锦
谷歌 A2A （Agent2Agent）架构设计深度剖析
musicml的博客
04-22 1238
这一协议为各类 AI Agent 之间的高效沟通与协作搭建了桥梁，无论是独立 Agent 与独立 Agent、独立 Agent与企业 Agent，还是企业 Agent与企业 Agent，都可以通过该协议实现通信交互和事务协作。值得注意的是，一个 Agent 既可以作为客户端 Agent 发起任务，也可以作为服务端 Agent 执行任务，具有双重角色的灵活性。Server Agent：服务端 Agent 是任务的执行者，它接收来自客户端 Agent 的请求，并执行相应的操作。：这是一个很有趣的功能。
智能体Agent深度解析：基于Function Calling的工具调用全指南！
2401_85390073的博客
04-25 1242
AI智能体是指具备一定自主性、能感知环境并通过智能决策执行特定任务的软件或硬件实体。它结合了人工智能技术（如机器学习、自然语言处理、计算机视觉等），能够独立或协作完成目标。基于大语言模型（LLM）的Function Calling可以令智能体实现有效的工具使用和与外部API的交互。并非所有的LLM模型都支持Function Calling。支持Function Calling的模型(如gpt-4，qwen-plus等)能够检测何时需要调用函数，并输出调用函数的函数名和所需参数的JSON格式结构化数据。
基于LLM和检索增强RAG的的命名实体识别.zip
08-25
近年来，随着深度学习技术的发展，命名实体识别技术取得了显著的进步，而LLM（Language Model）和RAG（Retrieval-Augmented Generation）模型在其中扮演了重要角色。 LLM即语言模型，是一种用于预测下一个单词、...
RAG vs 意图识别：AI领域的新较量
weixin_45312236的博客
05-29 3908
总的来说，RAG是一种增强语言模型回答能力的框架，它通过检索和利用外部知识来生成回答；意图识别是对话理解的一部分，它帮助系统理解用户的意图并作出相应的反应。两者的选择应基于具体的应用需求、系统设计和预期的用户交互方式。两者在构建交互式AI系统中扮演着不同但互补的角色。RAG适合于需要结合大量。
javascript 性能优化实战：异步和延迟加载
小伙伴们全都Lucky！
12-11 841
本文探讨JavaScript性能优化中的异步加载与延迟加载技术。异步加载通过async/defer属性或动态创建script元素避免阻塞渲染；延迟加载则利用IntersectionObserver API按需加载非关键资源。二者结合可显著提升性能：异步加载核心脚本确保交互流畅，延迟加载减少初始请求量。实践表明，该方案能降低DOMContentLoaded时间30%以上，减少初始加载量90%，但需注意async脚本的执行顺序问题和延迟加载的回退处理。文中提供了完整的代码实现示例。
深度学习下载包时可能会遇到的问题及解决方案
m0_50481455的博客
12-09 496
若确实下载安装了CUDA ，但是此时输出的CUDA是否可用为否，应该是torch的版本为cpu版本导致，刚刚的下载包的语句如果总是下载的是cpu版本，我们考虑直接去网站下指定包，再进行安装。CUDA Version表示的是驱动支持的最高 CUDA 版本，去官网下载 CUDA ，我这里是12.2，表示下载的版本最大只能是12.2。然后下载包时，比如本地环境是Python3.9，找包下载时候，3.9要下对应cp39的包。下载好后，执行语句安装。
df赋值和.copy的区别（SettingWithCopyWarning）
ranchor666的博客
12-10 742
copy()
Python 语言编码规范
托塔天王的博客
12-11 942
通常， 不应该描述”怎么做”， 除非是一些复杂的算法，文档字符串应该提供足够的信息， 当别人编写代码调用该函数时，他不需要看一行代码，只要看文档字符串就可以了，对于复杂的代码，在代码旁边加注释会比使用文档字符串更有意义。但是，不要使用一个以上的空格，并且在二元运算符的两边使用相同数量的空格。当捕获异常时， 使用as而不要用逗号。3、 关于函数的几个方面应该在特定的小节中进行描述记录， 这几个方面如下文所述，每节应该以一个标题行开始，标题行以冒号结尾，除标题行外， 节的其他内容应被缩进2个空格。
Windows11系统安装Isaac Sim和Isaac Lab记录
最新发布
weixin_65198494的博客
12-13 373
本文介绍了在Windows 11系统上安装IsaacSim和IsaacLab的完整流程。硬件配置为RTX4060显卡、32GB内存，软件环境包括NVIDIA驱动591.44、CUDA12.8、PyTorch2.7.0和Python3.11。安装IsaacSim5.1的主要步骤包括：更新GPU驱动、安装CUDA、创建conda虚拟环境、开启长路径支持、更新pip后安装IsaacSim pip包。IsaacLab安装则需要克隆GitHub仓库，通过安装脚本完成。最后通过运行验证脚本确认安装成功。
Python LangChain 开发问题：ImportError: Unable to import langchain_anthropic.
weixin_52173250的博客
12-12 145
Python LangChain 开发问题：ImportError: Unable to import langchain_anthropic.
rag 意图识别
08-16
此外，实体识别技术常被用于辅助意图识别，通过识别用户输入中的关键实体（如时间、地点、商品名称等）来提升意图判断的精度。 ### 实时优化与监控 在实际应用中，意图识别系统还需要具备实时监控和持续优化能力。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值