RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective Augmentation

最新推荐文章于 2025-06-11 09:49:44 发布
最新推荐文章于 2025-06-11 09:49:44 发布
阅读量824 收藏 1
点赞数
文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/133951521
版权
LLM 日更 专栏收录该内容
828 篇文章

已下架不支持订阅

本文提出RECOMP方法，通过压缩检索文档并进行选择性增强，降低推理成本，提高语言模型在各种任务中的性能。研究了提取压缩器和抽象压缩器，能够在保持性能的同时显著压缩文档，且能选择性地不增强无关文档。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是LLM系列文章，针对《RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective Augmentation》的翻译。

RECOMP：利用压缩和选择性增强改进检索增强LMs

摘要

在推理时检索文档并在上下文中为其做准备可以提高语言模型在各种任务中的性能。然而，这些文件往往跨越数百个单词，使推理成本大大增加。我们建议在上下文集成之前将检索到的文档压缩为文本摘要。这不仅降低了计算成本，而且减轻了LM在长时间检索的文档中识别相关信息的负担。我们提出了两个压缩器——一个是提取压缩器，它从检索到的文档中选择有用的句子；另一个是抽象压缩器，它通过合成多个文档中的信息来生成摘要。当生成的摘要被准备到LM的输入中时，两个压缩器都经过了训练，以提高LM在最终任务中的性能，同时保持摘要的简洁性。如果检索到的文档与输入无关，或者没有向LM提供额外信息，我们的压缩器可以返回一个空字符串，从而实现选择性扩充。我们在语言建模任务和开放域问答任务上评估了我们的方法。我们实现了低至6%的压缩率，同时两项任务的性能损失最小，显著优于现成的摘要模型。我们证明，我们为一个LM训练的压缩器可以在语言建模任务中转移到其他LM，并提供在很大程度上忠实于检索到的文档的摘要。

1 引言

2 问题公式化：RECOMP<

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

RECOMP: IMPROVING RETRIEVAL-AUGMENTED LMSWITH COMPRESSION AND SELECTIVE AUGMENTATION
qq_38423732的博客
04-12 814
在将文本输入到LLM中之前将检索到的文本压缩成摘要。设计两种压缩器：1.抽取式压缩器：从检索到的文档中挑选有用的句子2.生成式压缩器：综合多个文档的信息，生成摘要若检索到的文档与输入无关，则返回空字符串。
论文阅读《RECOMP: IMPROVING RETRIEVAL-AUGMENTED LMSWITH COMPRESSION AND SELECTIVE AUGMENTATION》
weixin_43344118的博客
04-24 797
从而降低计算成本，并减轻模型在长文档中寻找相关信息的负担。
[论文笔记]Improving Retrieval Augmented Language Model with Self-Reasoning
日积月累，天道酬勤
08-21 1266
⭐ 作者提出了一种新颖的自我推理框架，其核心思想是利用LLM自身生成的推理轨迹。该框架包括三个过程来构建自我推理轨迹：关注相关性的过程、证据选择性过程、一个轨迹分析过程。基于GPT4生成了2000个高质量的训练样本，提出了一种阶段性训练过程基于这些样本训练自我推理生成模型，声称效果很好，但是训练样本和训练好的模型都没有公开出来。
【AI视野·今日NLP 自然语言处理论文速览 第五十期】Mon, 9 Oct 2023
TomRen
10-11 786
AI视野·今日CS.NLP 自然语言处理论文速览 Mon, 9 Oct 2023 Totally 32 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective Augmentation Authors Fangyuan Xu, Weijia Shi, Eunsol Choi在推理时检
RAG中的代表性上下文压缩方案总结：从RECOMP、CompAct到COCOM
bagell的博客
11-05 1217
本文主要针对RAG，整理了5个现有方案，感兴趣的可以看具体实现细节。
构建LLM应用：高级RAG（第十部分）
AI公园
07-19 581
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Vipra Singh编译：ronghuaiyang导读现在，请跟随我们一起踏上另一段探索之旅，进入高级RAG技术的迷人世界。欢迎回到我们关于高级检索增强生成（RAG）技术系列的最新篇章！在本系列的前九部分中，我们深入探讨了RAG，解析了检索机制与生成模型之间的精妙互动。从掌握生成模型的基础知识到通过大型语言模型（LLMs）探索前沿技...
【大模型-RAG】RAG最佳实践论文及项目解读
ccql's Blog
09-05 1916
论文《Searching for Best Practices in Retrieval-Augmented Generation》由复旦大学的研究人员撰写，旨在探索RAG技术的最佳实践。RAG通过结合预训练模型和基于检索的模型，提供了一个增强模型性能的稳健框架。论文通过广泛的实验，提出了几种策略，旨在在性能和效率之间取得平衡。
ido-static-recomp:IDO 静态重组
05-31
g++ recomp.cpp -o recomp -g -lcapstone 2. ./recomp ~/ido7.1_compiler/usr/lib/as1 > as1_c.c 3. gcc libc_impl.c as1_c.c -o as1 -g -fno-strict-aliasing -lm -no-pie -DIDO71 使用同样的方法cc ， cfe ， ...
CORAL: Benchmarking Multi-turn Conversational Retrieval-Augmentation Generation 论文
weixin_51657614的博客
02-08 798
检索提示的一代（RAG）已成为有关的一种有前途的方法回答，利用大型语言模型（LLM）以及外部知识检索以提高生成响应的质量和准确性（Lewis等，2020;Guu等；Guu等，2020；2020；黄和黄，2024）。尽管RAG在学术界和行业都受到了吸引力，但在学术环境中研究的方式与在现实世界中的实施方式之间存在显着差距。学术研究主要集中于单转弯相互作用（Tan等，2024;Jin等，2024;Wang等，2024;Dong等人，Dong等人，2024a;
【检索增强】Retrieval-Augmented Generation for Large Language Models：A Survey
2401_84170244的博客
04-15 886
来实现的。这些搜索的数据源可以包括。
用通俗易懂的方式讲解：一文详解大模型 RAG 模块
2301_78285120的博客
02-02 9704
RAG 技术是一种检索增强生成的方法，结合了大型语言模型和检索系统的优势，以提高生成内容的准确性、相关性和时效性。相比于仅依赖大型语言模型的生成，RAG技术可以从外部知识库中检索信息，避免了模型的幻觉问题，并提升了对实时性要求较高问题的处理能力。与传统的知识库问答系统相比，RAG技术更加灵活，可以处理非结构化的自然语言文本。RAG并非旨在取代已有的知识库问答系统，而是作为一种补充，强调实时性和准确性，并且通过结合生成和检索机制来提升自然语言处理任务的效果。增强数据获取。
用通俗易懂的方式讲解：一文详解大模型 RAG（检索增强生成）
m0_64752471的博客
10-16 1867
RAG 技术是一种检索增强生成的方法，结合了大型语言模型和检索系统的优势，以提高生成内容的准确性、相关性和时效性。相比于仅依赖大型语言模型的生成，RAG技术可以从外部知识库中检索信息，避免了模型的幻觉问题，并提升了对实时性要求较高问题的处理能力。与传统的知识库问答系统相比，RAG技术更加灵活，可以处理非结构化的自然语言文本。RAG并非旨在取代已有的知识库问答系统，而是作为一种补充，强调实时性和准确性，并且通过结合生成和检索机制来提升自然语言处理任务的效果。增强数据获取。
三大关键技术看RAG如何提升LLM的能力
python1234_的博客
06-26 1185
顾名思义，RAG (Retrieval-Augmented Generation), 主要包括3个关键过程（Retrieval、Augmentation和Generation），它主要通过从外部知识库中“检索”最新信息作为外挂来“增强”LLM“生成”答案的效果。在回答问题或生成文本之前查询外部数据源并合成一个内容更加丰富的Prompt，从而显著提升输出的准确性和相关性。目前，RAG已经成为LLM系统中最流行的架构之一，因其高实用性和低门槛的特点，许多对话产品都是基于RAG进行构建。
复旦大学AI团队：检索增强生成最佳实践搜索
m0_59164304的博客
07-23 1516
检索结果可能包含冗余或不必要的信息，可能会阻止LLMs生成准确的响应。此外，长提示可能会减慢推理过程。因此，在RAG管道中，总结检索文档的有效方法至关重要。摘要任务可以是抽取式的或生成式的。抽取式方法将文本分段成句子，然后根据重要性对其进行评分和排序。生成式压缩器从多个文档中合成信息，重新表述并生成一个连贯的摘要。这些任务可以是基于查询的或非基于查询的。在这篇论文中，由于RAG检索与查询相关的信息，我们专注于基于查询的方法。1.Recomp: Recomp [23] 具有抽取和生成压缩器。
oracle重新编译失效对象的几种方法
热门推荐
FaN()
03-14 1万+
oracle重新编译失效对象的几种方法 手工重编译 查看失效对象 COLUMN object_name FORMAT A30 SELECT owner, object_type, object_name, status FROM dba_objects WHERE status = 'INVALID' ORDER BY owner, object_t...
yolo模型精度提升策略
qq_47798402的博客
06-09 1004
结合起来，才能最大程度地提升那6种相似BGA的区分能力，从而显著提高整体mAP。持续进行基于难例分析的主动学习是突破瓶颈的可持续方法。使用自适应优化器、学习率热身与余弦退火，进行充分长周期的训练（配合早停）。持续收集模型在相似BGA上的错误样本，优先标注并加入训练集进行迭代。设计模拟BGA实际成像挑战（反光、模糊、视角变化）的增强方案。尝试引入注意力机制，将分类损失替换为。训练数据（2倍以上是合理起点）。（Focal Loss）以及。显著增加6种相似BGA的。（特别是注意力机制）、
原始的 P-Tuning 和 P-Tuning v2 在实现细节上有哪些不同
ZJQ的博客
06-10 1270
P-Tuning v2（2022） - **改进点**： - 在模型的每一层都添加软提示（类似 Prefix Tuning 的思路），而不只是输入层。 - **引入轻量级 MLP 层**：在预训练模型的输出后添加一个小型的多层感知机，增强分类能力。 - **结构特点**： ``` 输入文本 + 软提示 → 预训练LM → MLP层 → 分类输出 ``` MLP 通常由 1-2 层线性层组成，参数量远小于全量微调。
二维张量dim=1
最新发布
GHL_17768588743的博客
06-11 803
在PyTorch中处理二维张量（矩阵）时，‌dim=1‌，也就是逐行处理每一行的所有列元素。
Warning:Object created with compilation errors Error in line: 1 Object [G2OxqWn3] is invali
02-27
<think>好的，我需要帮助用户解决他们遇到的Oracle错误：“Warning: Object created with compilation errors”以及“Error in line: 1 Object [G2OxqWn3] is invalid”。首先，我需要理解这个错误的一般原因以及用户可能的具体情况。 首先，用户提到的是一个Oracle数据库中的错误。当创建或编译数据库对象（比如存储过程、函数、包、触发器等）时，如果存在语法错误、权限问题或对象依赖问题，Oracle会抛出这样的错误。错误信息中的“Object [G2OxqWn3] is invalid”表明对象名称可能被替换为占位符，或者是用户实际对象名的某种混淆。但关键点是对象无效，通常是因为编译错误。 接下来，我需要考虑用户可能的操作场景。用户可能在执行DDL语句（如CREATE OR REPLACE PROCEDURE）时遇到了这个问题，或者在修改现有对象后尝试重新编译时出现错误。此外，用户可能没有权限查看详细的错误信息，或者没有注意到具体的错误行和原因。 常见的导致这个错误的原因包括： 1. **语法错误**：比如缺少分号、关键字拼写错误、括号不匹配等。 2. **对象依赖问题**：引用了其他不存在的对象（如表、视图、其他存储过程等）。 3. **权限不足**：用户没有创建或修改该对象的权限，或者对依赖对象没有访问权限。 4. **无效的对象名称**：使用了保留字或不符合命名规范的名称。 5. **编译选项或版本不兼容**：某些语法在特定Oracle版本中不支持，或者编译参数设置不当。 用户提供的错误信息中提到了“Error in line: 1”，但具体错误描述被简化为“[G2OxqWn3] is invalid”，这可能意味着用户没有正确获取完整的错误信息。通常，Oracle会提供更详细的错误描述，如ORA-xxxxx编号的错误，以及具体的错误原因，例如“PLS-00103: Encountered the symbol "..." when expecting one of the following...”。 我需要引导用户检查以下几个方面： 1. **查看完整的错误信息**：使用`SHOW ERRORS`命令或查询`USER_ERRORS`视图来获取详细的错误描述和位置。 2. **检查SQL语句的语法**：特别是第1行及其附近，是否存在拼写错误、缺少关键字或符号。 3. **验证依赖对象是否存在**：确保所有被引用的表、视图、同义词等都存在且可访问。 4. **确认权限**：用户是否有CREATE PROCEDURE（或其他相应对象类型）的权限，以及是否有访问依赖对象的权限。 5. **对象名称的有效性**：确保对象名称符合Oracle的命名规则，没有使用保留字，并且长度合适。 如果用户是在创建存储过程或函数，可能需要检查BEGIN/END块的结构、变量声明是否正确，以及是否所有必要的语句都有正确的结束符（分号）。此外，如果使用了动态SQL或PL/SQL特性，需要确保语法正确。 可能的解决方案步骤包括： - 执行`SHOW ERRORS`来获取详细错误。 - 逐行检查SQL脚本，特别是第1行。 - 使用工具（如SQL Developer）的语法检查功能。 - 确保所有依赖对象有效且可访问。 - 以具有足够权限的用户身份重新创建对象。 此外，用户可能遇到的问题可能涉及到更复杂的场景，比如对象版本冲突、数据库链接问题，或者在多模式环境中的对象引用问题。因此，需要进一步询问用户具体的SQL语句或操作步骤，以便更精准地诊断问题。 总结来说，我需要提供一个结构化的回答，首先解释错误的原因，然后列出详细的解决步骤，并提供具体的SQL示例和命令，帮助用户定位和解决问题。同时，提醒用户在开发过程中如何避免此类错误，比如使用IDE的语法高亮和检查功能，定期验证对象状态等。</think>--- ### 一、错误原因分析 **"Object created with compilation errors"** 表示在Oracle中创建或修改数据库对象（如存储过程、函数、视图、触发器等）时，存在编译错误，导致对象处于 **INVALID** 状态。 **"Error in line: 1"** 提示错误出现在代码第一行附近，但需注意Oracle报错的行号可能因代码格式变化而不完全准确。 --- ### 二、完整错误诊断步骤 #### 1. 获取详细错误信息 通过以下命令查看具体错误描述： ```sql -- 查看最近一次操作的错误详情（SQL*Plus/SQLcl中执行） SHOW ERRORS -- 查询所有无效对象的错误信息（需替换对象名） SELECT * FROM USER_ERRORS WHERE NAME = 'G2OxqWn3'; ``` #### 2. 常见错误类型及修复示例 | 错误类型 | 示例代码（错误） | 修复方案 | 正确代码示例 | |-----------------|----------------------------|------------------------------|---------------------------| | **语法错误** | `CREATE PROCEDURE G2OxqWn3 AS BEGIN ...` | 缺少`IS`或`AS`关键字 | `CREATE PROCEDURE G2OxqWn3 IS BEGIN ...` | | **权限不足** | `CREATE TABLE table1 (...)` | 用户缺少`CREATE TABLE`权限 | `GRANT CREATE TABLE TO user;` | | **对象不存在** | `SELECT * FROM missing_table` | 依赖表未创建或名称拼写错误 | `CREATE TABLE missing_table (...)` | | **保留字冲突** | `CREATE TABLE order (...)` | 使用保留字`ORDER`作为表名 | `CREATE TABLE "order" (...)` 或改名 | #### 3. 验证对象状态 ```sql -- 检查对象状态 SELECT OBJECT_NAME, OBJECT_TYPE, STATUS FROM USER_OBJECTS WHERE OBJECT_NAME = 'G2OxqWn3'; ``` - 若状态为 **INVALID**，需重新编译或修复代码。 --- ### 三、分场景解决方案 #### 场景1：存储过程/函数编译错误 **错误代码示例**： ```sql CREATE OR REPLACE PROCEDURE G2OxqWn3 IS BEGIN INSERT INTO table1 VALUES (1, 'test'); -- 假设table1不存在 END; ``` **修复步骤**： 1. 确认依赖对象存在： ```sql DESC table1; -- 检查表结构 ``` 2. 重新创建对象并捕获错误： ```sql ALTER PROCEDURE G2OxqWn3 COMPILE; -- 重新编译 SHOW ERRORS; -- 显示详细错误 ``` #### 场景2：视图依赖问题 **错误代码示例**： ```sql CREATE VIEW G2OxqWn3 AS SELECT col1 FROM non_existent_table; -- 依赖表不存在 ``` **修复方案**： ```sql -- 1. 创建缺失的表 CREATE TABLE non_existent_table (col1 NUMBER); -- 2. 重新编译视图 ALTER VIEW G2OxqWn3 COMPILE; -- 3. 强制重新验证依赖 BEGIN DBMS_UTILITY.VALIDATE('USER', 'G2OxqWn3'); END; ``` #### 场景3：触发器逻辑错误 **错误代码示例**： ```sql CREATE TRIGGER G2OxqWn3 BEFORE INSERT ON table1 FOR EACH ROW BEGIN :NEW.id := NVL(:NEW.id, 0) + 1; -- 缺少分号或逻辑错误 END; ``` **修复重点**： - 检查PL/SQL语法（分号结尾、变量作用域）。 - 使用`DBMS_OUTPUT.PUT_LINE`调试逻辑。 --- ### 四、高级排查技巧 #### 1. 使用`DBMS_METADATA`获取DDL ```sql -- 导出对象定义代码（验证格式） SELECT DBMS_METADATA.GET_DDL('PROCEDURE', 'G2OxqWn3') FROM DUAL; ``` #### 2. 检查数据库版本兼容性 ```sql -- 确认数据库版本和编译参数 SELECT * FROM V$VERSION; SHOW PARAMETER PLSQL_CCFLAGS; ``` #### 3. 批量编译无效对象 ```sql -- 以DBA身份执行（需权限） EXEC UTL_RECOMP.RECOMP_SERIAL('SCHEMA_NAME'); ``` --- ### 五、预防措施 1. **开发规范**： - 使用IDE（如Oracle SQL Developer）的语法高亮和自动补全功能。 - 在测试环境执行`ALTER ... COMPILE`验证代码。 2. **依赖管理**： ```sql -- 查询对象依赖关系 SELECT * FROM USER_DEPENDENCIES WHERE NAME = 'G2OxqWn3'; ``` 3. **自动化检查**： ```sql -- 定期检查无效对象 BEGIN DBMS_UTILITY.COMPILE_SCHEMA(USER); END; ``` --- 通过以上步骤，可精准定位并修复 **"Object created with compilation errors"** 问题。建议优先使用`SHOW ERRORS`获取详细错误描述，再针对性修复代码逻辑或依赖关系。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值