Imagination Augmented Generation: Learning to Imagine Richer Context for Question Answering

本文是LLM系列文章，针对《Imagination Augmented Generation: Learning to Imagine Richer Context for Question Answering over Large Language Models》的翻译。

摘要

已经提出了检索增强生成和生成增强生成来增强大型语言模型（LLM）上的问题回答所需的知识。然而，前者依赖于外部资源，两者都需要将明确的文档纳入上下文中，这导致了更长的上下文，从而导致更多的资源消耗。最近的工作表明，LLM已经对丰富的知识进行了建模，尽管没有有效地触发或激活。受此启发，我们提出了一个新的知识增强框架，即想象增强生成（IAG），它模拟了人类在不依赖外部资源的情况下，仅通过想象回答问题的同时弥补知识缺陷的能力。在IAG的指导下，我们提出了一种想象更丰富的上下文问答方法（IMcQA），该方法通过以下两个模块获得更丰富的语境：通过长上下文压缩生成短伪文档的显式想象和通过HyperNetwork生成适配器权重的隐式想象。在三个数据集上的实验结果表明，IMcQA在开放域和闭书环境中，以及在分发内性能和分发外推广方面都表现出显著的优势。

1 引言

2 相关工作

3 方法

4 实验

5 结论和未来工作

本研究提出了一种新的LLM知识增强策略，即想象增强生成（IAG），以及一种特定的开放域问答方法IMcQA。该方法通