Writing in the Margins: Better Inference Pattern for Long Context Retrieval

本文是LLM系列文章,针对《Writing in the Margins: Better Inference Pattern for Long Context Retrieval》的翻译。

在页边空白处写作:用于长上下文检索的更好推理模式

摘要

本文介绍了一种新的大型语言模型推理模式——边缘写作(WiM),旨在优化面向检索任务中长输入序列的处理。这种方法利用键值缓存的分块预填充来执行分段推理,从而能够高效地处理广泛的上下文,并生成和分类引导模型执行特定任务的中间信息(“边距”)。这种方法略微增加了计算开销,同时显著提高了现成模型的性能,而不需要进行微调。具体来说,我们观察到,WiM在推理技能(HotpotQA、MultiHop RAG)的准确性方面平均提高了7.5%,在聚合任务(CWE)的F1得分方面提高了30.0%以上。此外,我们展示了所提出的模式如何适应交互式检索设计,该设计为最终用户提供有关上下文处理进度的持续更新,并指出将相关信息集成到最终响应中。我们使用Hugging Face Transformers库发布了WiM的实现,网址为https://github.com/writer/writing-in-the-margins.

1 引言

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值