Can Large Language Models Recall Reference Location Like Humans?

本文是LLM系列文章，针对《Can Large Language Models Recall Reference Location Like Humans?》的翻译。

摘要

在完成知识密集型任务时，人类有时不仅需要答案，还需要相应的参考短文进行辅助阅读。以前的方法需要通过额外的检索模型来获得预先分割的文章块。本文探讨了利用大型语言模型（LLM）预训练阶段存储的参数化知识，从任何起始位置独立回忆参考段落。我们提出了一个两阶段的框架，模拟人类回忆容易被遗忘的参考文献的场景。最初，LLM会被提示调用文档标题标识符，以获得粗粒度的文档集。然后，基于获取的粗粒度文档集，它调用细粒度的段落。在两阶段调用过程中，我们使用约束解码来确保不会生成存储文档之外的内容。为了提高速度，我们在第二阶段只调用一个短前缀，然后定位其位置以检索完整的段落。在KILT知识敏感任务上的实验验证了LLM可以独立地回忆各种任务形式中的参考通道位置，并且所获得的参考对下游任务有显著的帮助。

1 引言

2 LLMRefLoc

3 实验

4 相关工作

5 结论和未来工作

本文介绍了一个名为LLMRefLoc的框架，该框架利用LLM独立地回忆参考文章，并可以灵活地应用于各种知识敏感的任务。模仿人类搜索信息的习惯，我们首先提示LLM回忆相关的文档页面，然后从这些页面中回忆并定位参考段落。此外，通过受Trie和FM索引约束的波束搜索，我们确保LLM调用的内容是现有文本的子集。该框架可以灵活地与各种开源LLM一起使用，扩展了LLM的潜在应用。未来，我们考虑通过指令调优来增强LLM在约束条件下回忆的能力，并将该框架