微软最新研究：RAG（Retrieval-Augmented Generation）的四个级别深度解析

最新推荐文章于 2025-07-13 20:44:32 发布
原创 最新推荐文章于 2025-07-13 20:44:32 发布 · 1.5k 阅读 · 30 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#microsoft #大数据 #人工智能 #chatgpt #深度学习 #ai

当下检索增强生成（Retrieval-Augmented Generation，简称RAG）架构以其独特的优势逐渐崭露头角，尤其在处理复杂、多部分的查询时展现出了卓越的性能。微软，作为全球科技巨头，对RAG（小模型在RAG（Retrieval-Augmented Generation）系统中的应用：提升效率与可扩展性的新路径）的研究尤为深入，并提出了基于查询需求分层的RAG任务分类法，这一方法将用户查询划分为四个级别，今天我们一起了解一下这四个级别。

图片

一、显性事实查询（Explicit Fact Queries）：RAG的基础构建

显性事实查询是RAG任务分类中的最基础级别，也是最简单的查询类型。这类查询直接请求特定的、已知的事实，答案直接存在于给定的数据中，无需任何额外的推理过程。用户提出的问题，其答案可以直接从数据块中提取出来。例如，用户询问“谁发明了电话？”答案“亚历山大·格雷厄姆·贝尔发明了电话”便是直接从外部数据中检索得出的。

在处理显性事实查询时，RAG架构的关键在于高效检索和准确匹配。微软通过利用BERT等模型将查询和文档编码为稠密向量

最低0.47元/天 解锁文章
AUTO-RAG: AUTONOMOUS RETRIEVAL-AUGMENTED GENERATION FOR LARGE LANGUAGE MODELS
c_cpp_csharp的专栏
12-30 348
迭代检索是指模型在生成过程中不断查询检索器，以增强检索到的知识的相关性，从而提高检索增强生成（RAG）的性能的过程。现有的工作通常采用很少的样本提示或手动构建的规则来实现迭代检索。这引入了额外的推理开销，并忽略了大型语言模型（LLM）的卓越推理能力。本文介绍了Auto RAG，这是一种以LLM强大的决策能力为中心的自主迭代检索模型。Auto RAG与检索器进行多轮对话，系统地规划检索并细化查询，以获取有价值的知识。这个过程会一直持续到收集到足够的外部信息，然后将结果呈现给用户。
LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs
c_cpp_csharp的专栏
07-02 460
在传统的RAG框架中，基本检索单元通常很短。像DPR这样的常见检索器通常处理100个单词的维基百科段落。这样的设计迫使检索器在大型语料库上搜索以找到“针”单元。相比之下，读者只需要从检索到的简短单元中提取答案。这种不平衡的“重”检索器和“轻”读取器设计可能导致次优性能。为了缓解这种不平衡，我们提出了一个新的框架LongRAG，由“长检索器”和“长阅读器”组成。LongRAG将整个维基百科处理成4Ktoken单元，比以前长了30倍。通过增加单元大小，我们将总单元从2200万个显著减少到600万个。
微软最新研究结果：RAG 的四个级别
Androiddddd的博客
11-18 971
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
在windows 11本地搭建RAG数据查询的AI大模型环境
ainnle的专栏
05-01 5148
其中，基于检索-生成器（Retrieval-Augmented Generation，简称RAG）架构的数据查询模型备受关注，因为它能够结合从大规模文本语料库中检索信息和生成自然语言文本的能力，实现更加智能和准确的数据查询。1. 下载 Docker Desktop：首先，打开浏览器，访问 Docker 官方网站（https://www.docker.com/products/docker-desktop），在该页面上找到适用于 Windows 的 Docker Desktop 安装程序，并点击下载。
微软新综述：大模型RAG系统的4层境界！
m0_59164304的博客
09-26 1123
今天分享这篇很干的文章！通过对RAG系统的用户Query进行难度区分，进而可以将系统划分为4个等级。使用外部数据增强的大型语言模型 ( LLMs ) 在完成现实世界任务方面表现出了卓越的能力。外部数据不仅增强了模型的特定领域专业知识和时间相关性，而且还减少了幻觉的发生率，从而增强了输出的可控性和可解释性。将外部数据集成到LLMs中的技术，例如检索增强生成（RAG）和微调，正在获得越来越多的关注和广泛应用。尽管如此，在各个专业领域有效部署数据增强LLMs仍面临着巨大的挑战。
微软的RAG框架和GraphRAG
huang9604的博客
11-15 1056
RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合检索和生成的技术，用于提升大语言模型的表现。简单来说，它是通过先检索相关的信息，再生成回答的方式来处理任务。微软的RAG框架就是这样一个系统。
微软：“RAG 任务分类法“玩转LLM外部知识
m0_59235945的博客
10-13 970
随着技术的发展，外部数据可以增强模型的专业性和时序相关性，并提高输出的可控性和可解释性。微软亚洲研究院的研究员们提出了一种基于查询需求分层的 RAG 任务分类法，从显式事实、隐式事实、可解释的推理、隐式推理4个层级出发，直指大模型应用在不同认知处理阶段所面临的难点和定制化的解决手段。
论文阅读（最新）：RAG+: Enhancing Retrieval-Augmented Generation with Application-Aware Reasoning
最新发布
m0_53605808的博客
07-13 1067
检索增强生成（RAG）通过整合外部知识，已成为提升大型语言模型（LLMs）在知识密集型任务中性能的基础框架。然而，现有 RAG 范式往往忽视知识应用这一认知环节，导致检索到的事实与特定任务推理之间存在差距。在本研究中，我们提出 RAG+，这是一种原则性的、模块化的扩展框架，它将应用感知推理明确融入 RAG 流程。RAG + 构建了一个由知识和对齐的应用示例组成的双语料库（可通过人工或自动方式创建），并在推理过程中对两者进行联合检索。
【学习笔记】GRAG: Graph Retrieval-Augmented Generation
weixin_45838549的博客
11-16 1745
尤其是在不对 LLM 进行微调的情况下，通过生成检索到的文本子图的软提示（soft tokens），GRAG 显著优于微调过的 LLM，在所有指标和数据集上表现都更好。较大的模型（如 13B 参数的 llama2-13b-chat-hf）在图推理任务中的表现甚至可能不如较小的模型（如 7B 参数的 llama2-7b-chat-hf）GRAG 在一个大型数据集上训练后，能够在小型数据集上表现良好，说明 GRAG 具备一定的迁移能力，可以将学到的图编码能力应用于不同的数据集。在没有使用检索方法的情况下，
微软：RAG并不是你唯一的解决方案！
m0_59164304的博客
09-25 1312
微软亚洲研究院（MSRA）提出了一种。
微软重磅开源 GraphRAG：新一代 RAG 技术来了！
musicml的博客
07-07 9950
▼最近直播超级多，预约保你有收获今晚直播：《RAG/Dify 构建企业案例实战》—1—为什么需要 GraphRAG？7月3日，微软重磅开源了基于图的 RAG -- GraphRAG。在 GitHub 上发布后，短短4天时间，该项目迅速获得了 6000 Stars！足见这个项目的热度！Github 地址：https://github.com/microsoft/graphrag强化主流大模型，比...
实战微软新一代RAG：GraphRAG强大的全局理解能力，碾压朴素RAG？
Python_cocola的博客
07-08 4921
大语言模型（LLM）是在大量数据上训练，但他们并不是在我们私有数据上训练，因此要想让LLM能够回答我们私有数据集上的问题，我们就得使用一种叫做检索增强生成（RAG）的技术。它的基本原理是加载我们的文档，然后将每个文档按照一定的规则，比如Token数量、字符数量、语义和层次分割等，将每个文档拆分为一个一个小片段（chunk）。然后使用嵌入技术对这些chunk生成embeding，存储到高维向量数据库中，生成索引Index。
打造一个聪明又靠谱的RAG解决方案：微软的从零到一的最佳实践指南
weixin_72959097的博客
05-27 941
想让语言模型处理你的专属数据？比如公司内部文档、行业报告，或者一堆PDF文件？那RAG就是你的好帮手！RAG是一个让语言模型结合外部数据的“神器”，既能精准回答问题，又能避免模型“胡编乱造”。微软的《Rag Solution Design and Evaluation Guide》详细介绍了RAG的构建步骤和最佳实践。本文带你走进RAG的开发世界，用通俗的语言拆解它的核心步骤，帮你从零开始设计一个靠谱的RAG解决方案。
下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？
DEVELOPERAA的博客
08-13 1824
7 月 2 日，微软开源了 GraphRAG，一种基于图的检索增强生成 (RAG) 方法，可以对私有或以前未见过的数据集进行问答。在 GitHub 上推出后，该项目快速获得了 2700 颗 star！
微软的GraphRAG：智能问答系统的革命
强化学习曾小健
04-15 1867
通过将AI生成的知识图与私人数据集集成，GraphRAG承诺通过专注于上下文相关性的重要性来提高响应的准确性，这是长期困扰研究人员和用户的挑战。这种方法上的创新意味着与传统RAG系统的分道扬镳，后者通常依赖于固定的文件或数据源，限制了它们适应新问题或复杂问题的能力。面对跨多个领域的复杂问题或需要精细化理解的情况，这些系统常常出现问题，提供的答案虽然在技术上是正确的，却错失了被问到的问题的本质。随着这项技术的发展，类人理解和AI之间的界限可能会变得模糊，重新定义我们与技术以及推动我们世界的信息之间的关系。
RAG vs Fine-tuning
whaosoft143ai的博客
02-16 544
本文提出了一个全面的大语言模型流程，用于生成高质量的、行业特定的问题和答案。可获得的文档包括了有关作物和牲畜管理、疾病和最佳实践的联邦法规和政策信息，质量保证和出口法规，援助计划的详细信息，以及保险和定价指南。研究中评估了经过微调和检索增强生成的语言模型，使用与背景相关的问题和答案数据集，这些数据集来源于三个主要的作物生产国：美国、巴西和印度。总体上，虽然 GPT-4 通常将生成的问答对评价为更具流畅性和上下文真实性，但与 GPT-3.5 的评分相比， 它们的多样性和相关性较低。whaosoft aiot
GraphRAG落地难，微软工业级RAG+Agent实施方案
m0_59235945的博客
02-20 1324
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。然后，将这些分数，通过图的各层传播，可以在广泛的上下文（例如，整个文档）上检索，也可以在更精细的细节（例如，特定片段或蒸馏知识）检索。同时计算检索块的相似度得分。最终，通过聚合操作，聚合来自其他层和节点的得分，得到检索到的片段的相似度分数，确保知识提取和利用在事实问答中的精度和效率都得到优化。
RAG（Retrieval-Augmented Generation）技术
02-21
检索增强生成 (Retrieval-Augmented Generation, RAG) 是一种优化大型语言模型输出的方法，该方法使模型可以在生成响应前引用训练数据源之外的权威知识库[^1]。此过程旨在提高模型对于特定查询或任务的理解能力，...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大模型之路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值