LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs

最新推荐文章于 2025-07-13 20:44:32 发布
原创 最新推荐文章于 2025-07-13 20:44:32 发布 · 490 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型 #人工智能

本文是LLM系列文章，针对《LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs》的翻译。

LongRAG：用长上下文LLM增强检索增强生成

摘要

在传统的RAG框架中，基本检索单元通常很短。像DPR这样的常见检索器通常处理100个单词的维基百科段落。这样的设计迫使检索器在大型语料库上搜索以找到“针”单元。相比之下，读者只需要从检索到的简短单元中提取答案。这种不平衡的“重”检索器和“轻”读取器设计可能导致次优性能。为了缓解这种不平衡，我们提出了一个新的框架LongRAG，由“长检索器”和“长阅读器”组成。LongRAG将整个维基百科处理成4Ktoken单元，比以前长了30倍。通过增加单元大小，我们将总单元从2200万个显著减少到600万个。这显著降低了检索者的负担，从而获得了显著的检索分数：答案recall@1=在NQ上占71%（之前为52%）并回答recall@2在HotpotQA（完整的wiki）上=72%（之前为47%）。然后，我们将前k个检索单元（≈30Ktoken）馈送到现有的长上下文LLM，以执行零样本答案提取。在不需要任何训练的情况下，LongRAG在NQ上实现了62.7%的EM，在HotpotQA（完整的wiki）上实现了64.3%的EM，这与（完全训练的）SoTA模型不相上下。我们的研究为将RAG与长期LLM相结合的未来路线图提供了见解。

1 引言

2 相关工作

3 LongRAG

4 实验

5 结论

在本文中，我们提出了一个新的框架LongRAG，以缓解检索器负担之间的不平衡。LongRAG框架由一个“长检索器”和一个

了解本专栏 订阅专栏 解锁全文 超级会员免费看
LLM应用架构之检索增强（RAG，retrieval-augmented generation）的缘起与架构介绍
强化学习曾小健
09-21 6438
原创 ullyAI工程化收录于合集#领域技术13个#LLM应用架构3个动手点关注本文是LLM应用架构系列的第一篇，将介绍LLM应用开发里最常见的一种架构模式RAG（ Retrieval Augmented Generation），它被广泛应用于知识问答，智能助手等常见LLM应用场景中。在后续文章中还将介绍该模式落地实际过程中的一些常见问题及改进思路，欢迎关注“AI工程化”，持续为大家更新。
LongRAG：智谱联合清华和中科院推出的双视角鲁棒检索框架
士多啤梨先生の博客
11-28 1161
LongRAG是由智谱、清华大学和中国科学院联合推出的双视角鲁棒检索增强生成框架，专为长文本问答设计。该框架通过混合检索器、LLM增强信息提取器、CoT引导过滤器和LLM增强生成器等组件，有效解决了长文本问答中的全局上下文理解和事实细节识别难题。LongRAG在多个数据集上表现优异，提供了自动化微调数据构建管道，增强了系统的“指令跟随”能力和领域适应性。
LongRAG：利用长上下文大语言模型提升检索生成效果
FrenzyTechAI的博客
06-26 2916
LongRAG 框架创新性地解决了传统检索增强生成（RAG）框架中检索器负担过重的问题，通过引入“长检索单元”、“长检索器”和“长阅读器”，将完整的维基百科文章处理成 4K Token 的单元，将语料库大小缩减了 97% 以上，从而显著提升了检索效率和整体性能。LongRAG 的优势主要体现在：在 NQ 和 HotpotQA 数据集上，LongRAG 无需复杂排序机制即可分别实现 71% 的 Recall@1 和 72% 的 Recall@2，远超传统的短文本检索方法。
LongRAG: A Dual-Perspective Retrieval-Augmented Generation Paradigm for Long-Context Question 论文
weixin_51657614的博客
01-22 689
摘要: 长上下文问答（Long-Context Question answer， LCQA）是一项具有挑战性的任务，其目的是对长上下文文档进行推理，从而得到问题的准确答案。现有的用于LCQA的长上下文大型语言模型（llm）经常与“迷失在中间”的问题作斗争。检索增强生成（RAG）通过提供外部事实证据缓解了这一问题。然而，它的分块策略破坏了全局的长上下文信息，并且由于大量的噪声，它在长上下文中的低质量检索阻碍了llm识别有效的事实细节。为此，我们提出了LongRAG，一个通用的、双视角的、健壮的基于llm的LC
LongRAG：增强长上下文大语言模型的检索增强生成
程序员石磊
06-26 1444
在传统的RAG框架中，检索单元通常较短，如100字的维基百科段落。检索器需要在庞大的语料库中搜索，这增加了检索负担。为了减轻这种负担，作者提出了LongRAG框架，包括“长检索器”和“长阅读器”，将整个维基百科处理成4K-token的单位，使检索单元减少至60万，大大减轻了检索器的负担，显著提高了检索性能。在不需要训练的情况下，LongRAG在NQ和HotpotQA（全维基）上达到了62.7%和64.3%的EM（精确匹配）率，与最先进的模型相当。
LongRAG：增强检索增强生成，实现长上下文LLM的高效利用
gitblog_00911的博客
04-17 1042
LongRAG：增强检索增强生成，实现长上下文LLM的高效利用 项目介绍 LongRAG 是一个开源项目，旨在通过结合长上下文的语言模型（LLM）来提升检索增强生成（RAG）的性能。在传统的 RAG 框架中，检索单元通常较短，导致检索器需要在大量语料库中寻找“针尖”般的单元，而阅读器仅需要从短小的检索单元中提取答案。这种设计使得检索器负担过重而阅读器过轻，可能导致性能不理想。LongRAG 提出了...
论文阅读（最新）：RAG+: Enhancing Retrieval-Augmented Generation with Application-Aware Reasoning
最新发布
m0_53605808的博客
07-13 1107
检索增强生成（RAG）通过整合外部知识，已成为提升大型语言模型（LLMs）在知识密集型任务中性能的基础框架。然而，现有 RAG 范式往往忽视知识应用这一认知环节，导致检索到的事实与特定任务推理之间存在差距。在本研究中，我们提出 RAG+，这是一种原则性的、模块化的扩展框架，它将应用感知推理明确融入 RAG 流程。RAG + 构建了一个由知识和对齐的应用示例组成的双语料库（可通过人工或自动方式创建），并在推理过程中对两者进行联合检索。
论文翻译 | RARE: Retrieval-Augmented Reasoning Enhancement for Large Language Models
m0_49651195的博客
12-09 1581
受rStar（Qi等人，2024年）的生成器-判别器结构的启发，RARE引入了一个检索增强生成器和事实性评分器，以提升大型语言模型中的推理准确性和事实完整性。如图1所示，RARE在两个主要阶段进行操作。候选生成与检索增强生成器：检索增强生成器基于MCTS的rStar自生成器构建，整合了两种新的检索增强动作，这些动作动态地获取相关的外部信息。这些动作通过将上下文丰富知识整合到中间推理步骤中，提高了候选推理路径的相关性和准确性，特别是对于复杂问题。
ViDoRAG: Visual Document Retrieval-Augmented Generation via Dynamic Iterative Reasoning Agents论文解读
weixin_38252409的博客
03-11 987
近来，deepseek火爆流行，席卷中国行业，引发了rag相关的智能体agent。然而，理解视觉丰富的文档中的信息对于传统的检索增强生成（Retrieval-Augmented Generation, RAG）方法来说仍然是一个重大挑战。现有的基准主要集中在基于图像的问题回答（QA），而忽视了在密集的视觉文档中进行高效检索、理解和推理的基本挑战。为了弥合这一差距，我们引入了ViDoSeek，一个旨在评估RAG在需要复杂推理的视觉丰富文档上性能的新数据集。为此，本篇文章解读ViDoRAG论文。
LongRAG：提升长文本上下文的大模型增强检索生成框架
人工智能讲师分享前沿技术
11-06 1176
传统的RAG框架存在一个显著的不平衡问题：检索器（负责从大量信息中检索相关文本）的负担过重，而阅读器（从检索到的文本中提取答案）的任务相对轻松。为了解决这一问题，加拿大滑铁卢大学的研究者提出了一种新的框架——LongRAG，旨在平衡检索器和阅读器的工作负载。图1展示了传统 RAG 和 LongRAG 在处理检索单元时的不同。传统 RAG 操作在短检索单元上，检索器需要扫描大量单元以找到相关信息。
LongRAG：通过长上下文大型语言模型增强检索增强生成
xx_nm98的博客
08-21 705
LongRAG旨在解决传统检索增强生成（RAG）系统的限制，这些系统通常使用较短的检索单元。在传统配置中，这些短单元导致检索器负担沉重，而阅读器的任务相对较轻，常常导致性能不佳。LongRAG提议使用长达4K个token的更长检索单元，减少所需的总单元数量，并显著减轻检索器的任务。这种方法显著提高了检索得分，与以前的方法相比，召回率大幅提高。
GLM-4-Long加持的RAG：更准，更简，更全！
2401_85379281的博客
08-30 966
一直以来，“RAG派”与“长上下文派”之间争论不休，然而二者各有优劣，如何选择？最佳答案来了：拒绝选择，全都要。今天实操一种加持的新方法（金融领域研报数据），旨在实现更简洁架构，更精准、更全面的问题解答。加持的（参考LongRAG）GLM-4-Long加持的RAG框架通过简化设计，显著提升了效率。：使用整个文档库或将多个相关文档组合成长检索单元，例如32K个token：负责从大量文本中检索出与问题粗略相关的长文本单元，数量不用太多：处理检索到的长文本，提取和生成答案，最大支持），大约相当于2本红楼梦或者。
长文本环境下检索增强型生成模型LongRAG
人工智能讲师分享前沿技术
12-13 1076
传统的RAG框架通常使用较短的检索单元，例如100个单词的维基百科段落。这种设计要求检索器在庞大的语料库中搜索相关信息单元，而阅读器则从这些短的检索单元中提取答案。这种“重检索器、轻阅读器”的设计可能导致性能不佳。为了缓解这种不平衡，加拿大滑铁卢大学的Ziyan Jiang、Xueguang Ma和Wenhu Chen提出了一个新的框架——LongRAG，该框架包含一个“长检索器”和一个“长阅读器”。图1为传统的RAG框架与提出的LongRAG框架之间的对比。
拨开迷雾，LongRAG闪亮登场！
步子哥的博客
10-25 903
今天步子哥要带大家一起探索长文本问答领域的一项突破性进展——LongRAG。这可不是普通的RAG，它可是拥有“双重视角”的检索增强生成范式，专治长文本问答的各种疑难杂症！
长语境RAG突破：LongRAG如何颠覆传统问答，开启智能检索新篇章？
m0_59235699的博客
08-15 973
在传统的RAG框架中，基本的检索单元通常是短的。像DPR这样的常见检索器通常使用100个词的维基百科段落。这样的设计迫使检索器在大型语料库中搜索“针”单元。相比之下，阅读器只需要从这些短的检索单元中提取答案。这种不平衡的“重”检索器和“轻”阅读器设计可能导致次优性能。为了缓解这种不平衡，我们提出了一个新的框架LongRAG，由一个“长检索器”和一个“长阅读器”组成。LongRAG将整个维基百科处理成4K个词的单元，比以前长30倍。通过增加单元大小，我们将总单元数从2200万减少到60万。
中科院：基于LLM的长上下文RAG解决方案
大模型任我行的博客
11-04 1462
长上下文问答（LCQA）中，现有检索增强生成（RAG）系统在处理长文档时存在的信息不完整和噪声过多问题。论文提出了LongRAG，一种双视角的检索增强生成范式，实现了一个自动化的微调数据构建管道和多任务训练策略，显著提升了长上下文问答任务的性能。
RAG应用要如何吃到大模型长上下文的红利？-LongRAG
python1234_的博客
06-26 1611
整体的结论在前面提过了，很优秀。块长度变长，信息包含的更多，可能很难用一个向量来表达完整的内容，所以longrag的更多的探索会发生在如何有效且精准的找到包含答案片段的大块。本文中使用的近似策略以及文档组的构建都是在这个领域，目前很少见的探索尝试，并提供了一些实验论证。​。
RAG近期发展综述
luxinfeng的博客
02-17 1789
本文主要介绍了一些RAG技术，涉及到常见的问题以及解决方案、业界实践以及最新进展等，后续出现新的RAG技术时，也会即时更新此文
【Arxiv 大模型最新进展】LongRAG：长文本问答的 “超级导航仪”，精准定位答案
一个程序猿的AI转型之路
03-20 795
本文研究的问题是**提升大型语言模型在处理长文本问答任务时的表现**。之前的方法包含self-RAG以及cRAG等，其中前者依赖自我反思标记来探索全局信息，但这种依赖可能误删含有重要细节的有效检索块；后者逐个评估块以识别事实细节，却忽略了块之间的关联，当关键细节分散在多个块中时，可能造成重要信息的遗漏。
NeXtSRGAN: enhancing super-resolution GAN with ConvNeXt discriminator for superior realism复现
04-01
### NeXtSRGAN 超分辨率 GAN 的实现 NeXtSRGAN 是一种基于 Super-Resolution GAN 的改进模型，其核心在于利用 ConvNeXt 构建判别器网络以提升图像细节的表现力和生成质量。以下是有关其实现的关键部分： #### 判别器设计 ConvNeXt 结构被引入到判别器的设计中，通过分层特征提取来增强对高分辨率图像真实性的判断能力。ConvNeXt 使用深度可分离卷积以及残差连接机制，在保持计算效率的同时提升了性能[^1]。 ```python import tensorflow as tf from tensorflow.keras import layers def convnext_block(input_tensor, filters, kernel_size=7): x = layers.DepthwiseConv2D(kernel_size=kernel_size, padding='same')(input_tensor) x = layers.LayerNormalization(epsilon=1e-6)(x) x = layers.Dense(filters * 4)(x) x = layers.Activation('gelu')(x) x = layers.Dense(filters)(x) return layers.Add()([input_tensor, x]) def build_discriminator(img_shape=(128, 128, 3), num_blocks=3): input_img = layers.Input(shape=img_shape) x = layers.Conv2D(64, kernel_size=3, strides=2, padding="same")(input_img) x = layers.LeakyReLU(alpha=0.2)(x) current_filters = 64 for _ in range(num_blocks): x = convnext_block(x, current_filters) current_filters *= 2 if current_filters > img_shape[-1]: break x = layers.Conv2D(current_filters, kernel_size=3, strides=2, padding="same")(x) x = layers.LeakyReLU(alpha=0.2)(x) x = layers.Flatten()(x) output = layers.Dense(1, activation='sigmoid')(x) model = tf.keras.Model(inputs=input_img, outputs=output, name="convnext_discriminator") return model ``` 上述代码展示了如何构建一个基于 ConvNeXt 的判别器架构。它采用逐步下采样的方式减少空间维度并增加通道数，从而捕获更深层次的语义信息[^2]。 #### 生成器设计 对于生成器而言，可以借鉴已有的超分辨率技术如 EDSR 或 RCAN 来搭建基础框架，并调整参数适配具体应用场景需求[^3]。 ```python def res_block(input_tensor, filters): shortcut = input_tensor x = layers.Conv2D(filters, kernel_size=3, padding='same', use_bias=False)(input_tensor) x = layers.ReLU()(x) x = layers.Conv2D(filters, kernel_size=3, padding='same', use_bias=False)(x) return layers.Add()([shortcut, x]) def upscale_ps(input_tensor, factor=2): return layers.UpSampling2D(size=factor, interpolation='bilinear')(input_tensor) def build_generator(lr_shape=(32, 32, 3)): inputs = layers.Input(shape=lr_shape) x = layers.Conv2D(64, kernel_size=9, padding='same')(inputs) x = layers.ReLU()(x) residual = x for _ in range(16): x = res_block(x, 64) x = layers.Conv2D(64, kernel_size=3, padding='same')(x) x = layers.BatchNormalization()(x) x = layers.Add()([residual, x]) x = upscale_ps(x, factor=4) out = layers.Conv2D(3, kernel_size=9, padding='same', activation='tanh')(x) generator_model = tf.keras.models.Model(inputs=[inputs], outputs=out, name="generator") return generator_model ``` 此段脚本定义了一个典型的残差块堆叠型生成器结构，适用于大多数 SISR（Single Image Super Resolution）任务中的低频重建阶段。 #### 训练过程概述 训练过程中需注意平衡生成器与判别器之间的对抗关系，通常会设置不同的损失函数组合来优化整体表现效果。例如 LSGAN 提倡使用的最小二乘误差替代传统交叉熵作为目标函数之一；而针对特定数据集特性还可能加入感知损失(perceptual loss)，风格迁移项(style transfer term)等辅助约束条件进一步改善视觉体验品质。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值