UniConv: Unifying Retrieval and Response Generation for Large Language Models in Conversations

文章主要内容总结

本文针对现有对话搜索系统中检索器与生成器分离导致的性能关联弱、维护成本高的问题，提出了一个基于大型语言模型（LLM）的统一模型UniConv，旨在融合对话场景下的密集检索与响应生成任务。

UniConv通过联合微调实现检索与生成的端到端优化，具体包括：

1. 设计了对话密集检索目标（基于对比学习）和对话响应生成目标（基于序列生成）；
2. 提出“上下文识别指令（CII）”机制，增强检索信息与生成过程的一致性；
3. 引入“数据差异缓解（DDM）”机制，使用格式规范的对话搜索数据，解决检索与生成任务的输出要求不匹配问题。

实验在五个对话搜索数据集（TopiOCQA、QReCC、OR-QuAC、INSCIT、FaithDial）上展开，结果表明UniConv在检索性能（NDCG@3、Recall@10）和生成性能（F1）上均优于现有基线模型，且在多轮对话中表现出更强的上下文理解能力和结果一致性。

创新点

1. 模型统一性：首次探索并实现了基于LLM的对话搜索统一模型，同时支持对话场景下的密集检索和响应生成，突破了现有模型仅能处理单一任务或非对话场景的局限。
2. 机制设计：
   • 上下文识别指令（CII）机制：通过对比学习使模型在微调时隐式关联检索到的相关段落与生成的响应，减少检索与生成的不一致风险；
   • 数据差异缓解（DDM）机制：引入包含“相关段落+真实响应”的结构化数据，解决现有数据中检索与生成任务输出格