法律领域检索增强生成（RAG）的基准

RAG 系统将检索机制与生成式大语言模型（LLMs）相结合，为法律文本处理带来了新的可能性。然而，随着相关技术的迅速发展，一个重要问题逐渐浮现：缺乏专门用于评估法律特定 RAG 系统中检索组件的基准。这一缺失严重制约了该领域的进一步发展，为解决这一问题，LegalBench - RAG 应运而生，它是首个专注于评估法律领域 RAG 系统检索步骤的基准，为该领域的发展提供了重要的支撑。

一、研究背景

1.1 RAG 系统概述

RAG 系统的工作原理是利用知识库，其中包含多个文档，这些文档均为法律文本字符串。在传统实现中，每个文档会被分割成一组块，并通过专门的嵌入模型转换为向量嵌入。当用户提交查询时，系统使用相同的嵌入模型将其向量化，然后检索与查询最相关的前个块，常用的相似度度量方法如余弦相似度。最后，检索到的块与查询和系统提示一起被送入大语言模型（LLM）以生成最终响应。RAG 系统主要包含两个重要模块：

• 上下文检索器（Contextual Retriever）：该模块负责从外部知识库中定位相关信息，返回对应的上下文集合。通常，RAG 架构采用双编码器检索器（如 DPR），它在信息检索方面具有高效性和准确性。在实际操作中，首先使用双编码器检索器获取前个项目，然后利用交叉编码器模型对这些项目进行重新排序，该模型会输出查询与每个项目之间的相似度得分，最终返回前个结果。
• 答案生成器（Answer Generator）：这个组件通常基于序列到序列模型，接收查询和上下文作为输入，并生成具有一定可能性的答案。

1.2 RAG 基准相关研究

在 RAG 系统出现之前，问答基准（如 HotPotQA）就已存在，如今仍在使用。随着 RAG 技术的发展，也出现了多个专门评估 RAG 系统质量的基准，如 RGB 和 RE