A Unified Generative Framework for Retrieval and Question Answering with Large Language Models

UniGen：检索与问答的统一生成框架

最新推荐文章于 2025-11-25 12:11:01 发布

UnknownBody

最新推荐文章于 2025-11-25 12:11:01 发布

阅读量629

点赞数 10

CC 4.0 BY-SA版权

文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/135701429

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

本文介绍了一种名为UniGen的统一生成框架，该框架将文档检索和问答集成到一个大型语言模型中，以实现同时优化。通过共享编码器和独立解码器，以及使用大型语言模型生成的连接器，UniGen提升了信息检索和自然语言处理任务的性能。实验证明，UniGen在MS MARCO和NQ数据集上的表现优秀。

本文是LLM系列文章，针对《UniGen: A Unified Generative Framework for Retrieval and Question
Answering with Large Language Models》的翻译。

摘要

生成信息检索包括生成文档检索（GDR）和基础答案生成（GAR）两大任务，在信息检索和自然语言处理领域得到了广泛的关注。GDR和GAR的现有方法依赖于单独的检索和读取器模块，这阻碍了同时优化。为了克服这一点，我们提出了UniGen，这是一个用于检索和问答的统一生成框架，它将两个任务集成到一个利用大型语言模型功能的单一生成模型中。UniGen采用一个共享编码器和两个不同的解码器进行生成检索和问答。为了促进这两项任务的学习，我们引入了由大型语言模型生成的连接器，以弥合查询输入和生成目标之间以及文档标识符和答案之间的差距。此外，我们提出了一种迭代增强策略，该策略利用生成的答案和检索到的文档来迭代改进这两项任务。通过在MS MARCO和NQ数据集上的大量实验，我们展示了UniGen的有效性，展示了其在检索和问答任务中的卓越性能。