82 LlamaIndex 忠实度评估器使用指南

LlamaIndex 忠实度评估器使用指南

在处理大型语言模型（LLM）时，确保生成的响应忠实于源文档是至关重要的。本文将介绍如何使用 LlamaIndex 的 FaithfulnessEvaluator 模块来评估查询引擎的响应是否与源节点匹配，从而检测是否存在幻觉现象。我们将以纽约市维基百科页面为例，展示整个评估过程。

安装依赖

首先，我们需要安装必要的依赖包：

%pip install llama-index-llms-openai pandas[jinja2] spacy

设置环境

为了在 Jupyter Notebook 中使用异步操作，我们需要应用 nest_asyncio：

import nest_asyncio
nest_asyncio.apply()

同时，设置 OpenAI API 密钥：

import os
os.environ["OPENAI_API_KEY"] = "sk-..."

导入必要的模块

接下来，导入 LlamaIndex 和其他必要的模块：

from llama_index.core import (
    VectorStoreIndex,
    SimpleDirectoryReader,
    Response,
)
from llama_index.llms.openai import OpenAI
from llama_index.core.evaluation import FaithfulnessEvaluator
from llama_index.core.node_parser import SentenceSplitter
import pandas as pd

pd.set_option("display.max_colwidth", 0)

使用 GPT-4 进行评估

我们使用 GPT-4 作为评估模型：

gpt4 = OpenAI