LLM如何处理长上下文：Lost in the middle

原创 已于 2024-05-02 16:43:48 修改 · 1.5k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #自然语言处理

于 2024-03-19 20:25:24 首次发布
研究表明，尽管大型语言模型能处理长上下文，但它们在处理中部信息时表现不佳，更关注开头和结尾部分。论文通过多文档问答和键值检索任务揭示了模型在长上下文中的信息检索问题，提出模型性能与输入信息位置存在U型关系。

论文地址：Lost in the Middle: How Language Models Use Long Contexts

论文总结：写prompt的时候，需要注意内容的顺序，把重要的信息放在最前面或者最后面。

大型语言模型大有用处，在设计 prompt 方面，人们通常建议为语言模型提供详尽的任务描述和背景信息。

近期的一些语言模型有能力输入较长的上下文，但它究竟能多好地利用更长的上下文？这一点却相对少有人知。

近日，斯坦福大学、加州大学伯克利分校和 Samaya AI 的研究者发布了一篇实证研究论文，探究了这个问题。

结论令人意外：如果上下文太长，语言模型会更关注其中的前后部分，中间部分却几乎被略过不看，导致模型难以找到放在输入上下文中部的相关信息。

他们对多种不同的开源（MPT-30B-Instruct、LongChat-13B (16K)）和闭源（OpenAI 的 GPT-3.5-Turbo 和 Anthropic 的 Claude）的语言模型进行了对照实验 —— 实验中需要模型获取并使用输入上下文中的信息。

研究者首先实验了多文档问答，该任务需要模型基于多个文档进行推理，以找到相关信息并将其用于回答给定问题。这个任务模拟了检索增强式生成任务，其是许多商用生成式搜索和问答应用（如 Bing Chat）的基础。在实验中，他们的做

最低0.47元/天 解锁文章
lichunericli
关注
Lost in the Middle: How Language Models Use Long Contexts
c_cpp_csharp的专栏
09-11 486
虽然最近的语言模型能够将长上下文作为输入，但人们对它们使用长上下文的情况知之甚少。我们分析了语言模型在两项任务中的性能，这两项任务需要在输入上下文中识别相关信息：多文档问答和键值检索。我们发现，当相关信息出现在输入上下文的开头或结尾时，性能通常最高，而当模型必须在长上下文的中间访问相关信息时，性能会显著降低。此外，即使对于显式长上下文模型，性能也会随着输入上下文的增长而显著降低。我们的分析提供了对语言模型如何使用其输入上下文的更好理解，并为未来的长上下文模型提供了新的评估协议。
大模型落地的实战解析：在Python中使用LangChain优化长上下文信息检索的高级技巧
m0_57781768的博客
09-03 235
在本文中，我们深入探讨了如何在Python中使用LangChain框架，通过文档重排序技术优化长上下文信息检索。通过具体的代码示例，我们展示了如何在实际项目中应用这一技术，从而有效缓解中间丢失效应，提升模型在长上下文处理中的表现。随着大模型技术的不断发展，信息检索将继续在智能应用中发挥关键作用。而通过持续优化和扩展检索器的功能，我们可以为用户提供更智能、更高效的服务体验。参考文献LangChain官方文档：https://www.langchain.com。
lost-in-the-middle
whaosoft143ai的博客
07-24 442
在实验中，他们的做法是改变输入上下文长度和输入上下文中相关信息的位置，然后对照比较输出结果的表现。另一方面，编码器 - 解码器模型使用了双向编码器来上下文化输入上下文，这似乎能更加稳健地应对相关信息的位置变化 —— 研究者猜想这一直观结论或许也能用于提升仅解码器模型的性能，做法是将查询同时放在数据的前面和后面，从而实现文档或键 - 值对的查询感知型上下文化。在这种监督式的指令微调数据中，任务规范和 / 或指令通常放置在输入上下文的开头，这可能会导致经过指令微调的语言模型为输入上下文的开头赋予更多权重。
论文解读: 2023-Lost in the Middle: How Language Models Use Long Contexts
yousuotu的博客
05-23 1073
多文档问答和键值检索结果表明，当语言模型必须在长输入上下文中访问相关信息时，其性能会显著下降。在对文档或键值对进行上下编码时，只有解码器的模型无法查询标记，因为查询只出现在提示的末尾，而只有解码器的模型在每个时间步只能处理前面的标记。另一方面，编码器-解码器模型使用双向编码器对输入上下文进行上下编码，并且似乎对输入上下文中相关信息的位置变化更具鲁棒性——可以使用这种直觉，通过在数据之前和之后放置查询，启用文档的查询感知上下文化(或键值对),来提高仅解码器模型的性能。
论文笔记：Lost in the Middle: How Language Models Use Long Contexts
qq_40206371的博客
03-12 2029
2024。
《Lost in the Middle: How Language Models Use Long Contexts》AI 解读
悟鸣的技术博客
04-01 1363
明明如月学长， 优快云 博客专家，大厂高级 Java 工程师，《性能优化方法论》作者、《解锁大厂思维：剖析《阿里巴巴Java开发手册》》、《再学经典：《Effective Java》独家解析》专栏作者。论文标题：Lost in the Middle: How Language Models Use Long Contexts。
AI Agent开发学习系列 - langchain之RAG检索增强生成(3)：Lost in the middle 长上下文精度问题
alex100的博客
07-09 678
大语言模型在处理长文本时存在"中间内容遗忘"现象，表现为对上下文中间关键信息的记忆和理解能力下降。这一被称为"Lost in the middle"的问题主要由注意力机制局限、训练数据分布偏短和位置编码衰减导致。解决方案包括分块检索、滑动窗口、上下文压缩、改进模型结构等。通过LangChain框架的示例演示了如何对检索结果进行重排序优化，将高相关性内容置于首尾，以提升大模型在长文本处理中的表现。
探索语言模型的长上下文利用之道：《迷失中间：语言模型如何运用长上下文》项目推介
gitblog_00639的博客
08-30 841
探索语言模型的长上下文利用之道：《迷失中间：语言模型如何运用长上下文》项目推介 近年来，自然语言处理领域的一大热点是如何让语言模型更有效地理解和运用大量的上下文信息。今天，我们要介绍一个深度挖掘这一主题的研究成果——《迷失中间：语言模型如何运用长上下文》（Lost in the Middle: How Language Models Use Long Contexts）。这个开源项目不仅是对当前大...
LLM之RAG实战（十四）| 利用LongContextRetriver克服RAG中的中间丢失现象
wshzd的博客
01-13 1863
研究测试了七种语言模型，包括开源大模型和闭源大模型，包括新的GPT-3.5 16K和Claude 1.3 100K，它们的性能都显示出U型曲线模式，对于在文本开头或结尾找到解决方案的任务，效果更好。根据他们的发现，当这些模型检索信息时，当相关数据位于输入的开始或结束时，它们的性能是最优的。合并后的结果将是与查询相关的文档列表，这些文档已由不同的检索器进行了排序。它首先从所有检索器获取相关文档，然后合并它们，合并后的结果将是与查询相关的文档列表，这些文档已由不同的检索器进行了排序。
AI 大模型企业应用实战(13)-Lostinthemiddle长上下文精度处理
JavaEdge全是干货的技术号
06-23 1057
BERT 是一种基于 Transformer 结构的深度学习模型，通过在大规模语料库上进行预训练，学习到了丰富的语言表示能力。HuggingFaceEmbeddings 支持多种语言，包括中文，但默认情况下使用的是英文预训练模型。HuggingFaceBgeEmbeddings 是针对中文场景特别优化的嵌入类，它使用了中文预训练模型。作者简介：魔都架构师，多家大厂后端一线研发经验，在分布式系统设计、数据平台架构和AI应用开发等领域都有丰富实践经验。具有丰富的引领团队经验，深厚业务架构和解决方案的积累。
解决RAG系统中的“Lost in the Middle“效应：优化检索结果排序
ppoojjj的博客
08-12 749
通过实施检索结果的重新排序，我们可以有效缓解RAG系统中的"Lost in the Middle"效应，提高模型对相关信息的利用率。这种方法特别适用于处理大量检索文档的场景，可以显著提升RAG应用的整体性能。
为什么LLM都在卷上下文长度？不是其他卷不起，而是上下文更有性价比！
hunteritself的博客
03-24 2396
为什么LLM都在卷上下文长度？不是其他卷不起，而是上下文更有性价比！
全面了解LLM上下文工程（三）：揭开AI拥有百万级token的谎言
最新发布
xiaoganbuaiuk的博客
08-01 961
在上一篇中，我们探讨了“上下文腐烂”（Context Rot）这一现象，揭示了大模型在面对超长上下文时表现不稳、性能退化的现实挑战。然而，问题还不止于此。即使在一个单独的上下文中，模型也并不会平均对待每一部分信息。这就引出了另一个令人意想不到的问题：“中间迷失”（Lost in the Middle） —— 模型对上下文中间部分的信息，往往视而不见。本篇，我们将继续深入上下文工程的核心难题，看看模型“看不见重点”的本质究竟是什么。
LLM 大模型缺陷
pythonhy的博客
08-09 1224
虽然领先的 LLM 已经以高分通过了大量人类考试，但它们并不是完美的，接下来我们会介绍一些LLM 的已知缺陷。
《Lost in the Middle: How Language Models Use Long Contexts》研究方法与贡献
阿正的梦工坊
05-18 981
论文将U形性能曲线与心理学中的“序列位置效应”（serial-position effect）相联系，指出尽管Transformer自注意力机制理论上对所有位置平等处理，实际表现却类似人类记忆的首因和近因效应，这一发现为理解模型行为提供了跨学科视角。
LLM上下文长度持续扩展
AI大模型应用之禅
02-18 746
LLM上下文长度持续扩展 关键词：上下文长度, 语言模型, 自回归, 注意力机制, 自编码器, 预训练, 微调, 长文本处理, 自然语言处理(NLP) 1. 背景介绍 1.1 问题由来
深入解读RAG与超长上下文LLM之争！
2401_84204207的博客
06-12 1222
在一个超长的上下文中插入多个“针”（needles，即知识点），比如上面的图中，把制作完美披萨的三个秘密成分，作为三个“针”插入到上下文的特定位置（如开头、中间与结尾），并且让其他内容和这个三个“针”的知识完全不相关。这也印证了随着上下文增加时，大模型的捞”针“的能力会开始打折扣。现在Lance切换了不同的上下文长度（从最小的1K到最大的120K），同时在每次的上下文中都会插入10个“针”，这10个针分布在上下文从头部到尾部的10个位置（均匀分布），然后测试LLM在不同长度上下文中出这十个“针”的能力。
LLM可能真的是LongLM:无需微调即可扩展LLM上下文窗口
步子哥的博客
07-10 1604
大型语言模型(LLM)在处理超出其预训练上下文窗口长度的长文本时往往表现不佳。但是,这篇论文提出,LLM实际上可能具有处理长上下文的固有能力,只是需要一些技巧来激发这种能力。让我们来详细了解这项创新性的研究。
ByteScale：实现2048K上下文长度LLM训练的GPU扩展技术
ByteScale的技术细节和实际性能数据在提供的内容中并未详细说明，但可以预见的是，这样的技术对于推动大型语言模型的发展具有重要的意义，特别是在处理需要长上下文理解的复杂任务时。随着技术的进一步发展和优化，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值