168 深入探讨RAG管道基准测试：使用LabelledRagDataset

原创

已于 2024-11-18 14:58:04 修改 · 473 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#rag

于 2024-11-18 14:48:18 首次发布

引言

在自然语言处理（NLP）领域，检索增强生成（Retrieval-Augmented Generation, RAG）管道是一种强大的工具，它结合了信息检索和文本生成技术，以提供更准确和上下文相关的答案。为了评估和优化RAG管道的性能，我们需要一个高质量的数据集来进行基准测试。本文将深入探讨如何使用LabelledRagDataset来构建和评估RAG管道。

什么是LabelledRagDataset？

LabelledRagDataset是一个用于评估RAG管道的数据集，类似于传统机器学习中的数据集，其中特征（X）用于预测真实标签（y）。在RAG管道中，查询（query）和检索到的上下文（retrieved contexts）作为特征，而查询的答案（reference_answer）作为真实标签。

前置知识

在深入探讨之前，我们需要了解以下几个概念：

RAG管道：RAG管道结合了检索和生成两个步骤。首先，系统从大量文档中检索相关信息，然后使用这些信息生成答案。
Pydantic模型：Pydantic是一个用于数据验证和设置管理的Python库。它允许我们定义数据模型，并确保数据的类型和结构符合预期。
WikipediaReader：一个用于从维基百科获取数据的工具，常用于获取文本数据。

构建LabelledRagDataExample

LabelledRagDataExample是LabelledRagDataset的基本单元。每个示例包含一个查询、查询的生成者、参考答案、参考答案的生成者以及相关的上下文。

代码示例

from llama_index.core.llama_dataset import (
    LabelledRagDataExample,
    CreatedByType,
    CreatedBy,
)

# 构建一个LabelledRagDataExample
query = "This is a test query, is it not?"
query_by = CreatedBy(type=CreatedByType.AI, model_name="gpt-4")
reference_answer = "Yes it is."
reference_answer_by = CreatedBy(type=CreatedByType.HUMAN