84 LlamaIndex 相关性评估器使用指南（响应和查询的相关性）

最新推荐文章于 2025-12-04 16:00:21 发布

原创

最新推荐文章于 2025-12-04 16:00:21 发布 · 292 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #人工智能 #机器学习 #算法 #LLM #RAG #自然语言处理

LlamaIndex 相关性评估器使用指南

在大型语言模型（LLM）的应用中，确保生成的响应与查询相关且准确是至关重要的。LlamaIndex 提供了 RelevancyEvaluator 模块，帮助开发者评估响应和源节点是否与查询匹配。本文将详细介绍如何使用 RelevancyEvaluator 进行相关性评估。

安装依赖

首先，我们需要安装必要的依赖包：

%pip install llama-index-llms-openai pandas[jinja2] spacy

设置日志

为了更好地调试和查看运行过程中的信息，我们设置日志：

import logging
import sys

logging.basicConfig(stream=sys.stdout, level=logging.INFO)
logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))

导入必要的模块

接下来，导入 LlamaIndex 和其他必要的模块：

from llama_index.core import (
    TreeIndex,
    VectorStoreIndex,
    SimpleDirectoryReader,
    Response,
)
from llama_index.llms.openai import OpenAI
from llama_index.core.evaluation import RelevancyEvaluator
from llama_index.core.node_parser import SentenceSplitter
import pandas as pd

pd.set_option("display.max_colwidth", 0)

使用 GPT-3 和 GPT-4 进行评估

我们使用 GPT-3 和 GPT-4 作为评估模型：

# gpt-3 (davinci)
gpt3 = OpenAI(temperature=0, model="gpt-3.5-turbo")

# gpt-4
gpt4 = OpenAI(temperature=0, model="gpt-4")

evaluator = RelevancyEvaluator(llm=gpt3)
evaluator_gpt4 = RelevancyEvaluator