Imagination Augmented Generation: Learning to Imagine Richer Context for Question Answering

想象增强生成：学习为问题回答构建丰富上下文

最新推荐文章于 2025-11-24 18:29:32 发布

UnknownBody

最新推荐文章于 2025-11-24 18:29:32 发布

阅读量358

点赞数 9

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/139574230

LLM Daily 同时被 2 个专栏收录

1689 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

LLM for NLP

31 篇文章

订阅专栏

本文提出想象增强生成（IAG）框架，模仿人类仅凭想象回答问题的能力，以弥补大型语言模型（LLM）在问答中的知识缺陷。IAG指导下的IMcQA方法通过显式和隐式想象模块激活LLM的内在知识，提高问答性能，尤其在开放域和闭书环境下表现突出。

本文是LLM系列文章，针对《Imagination Augmented Generation: Learning to Imagine Richer Context for Question Answering over Large Language Models》的翻译。

摘要

已经提出了检索增强生成和生成增强生成来增强大型语言模型（LLM）上的问题回答所需的知识。然而，前者依赖于外部资源，两者都需要将明确的文档纳入上下文中，这导致了更长的上下文，从而导致更多的资源消耗。最近的工作表明，LLM已经对丰富的知识进行了建模，尽管没有有效地触发或激活。受此启发，我们提出了一个新的知识增强框架，即想象增强生成（IAG），它模拟了人类在不依赖外部资源的情况下，仅通过想象回答问题的同时弥补知识缺陷的能力。在IAG的指导下，我们提出了一种想象更丰富的上下文问答方法（IMcQA），该方法通过以下两个模块获得更丰富的语境：通过长上下文压缩生成短伪文档的显式想象和通过HyperNetwork生成适配器权重的隐式想象。在三个数据集上的实验结果表明，IMcQA在开放域和闭书环境中，以及在分发内性能和分发外推广方面都表现出显著的优势。