[使用DeepEval增强LLM测试：快速迭代与性能优化]_deepeval的答案相关性是怎样实现的-优快云博客

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/143086402

# 使用DeepEval增强LLM测试：快速迭代与性能优化

在本文中，我们将探讨如何利用Confident的DeepEval包对大型语言模型（LLM）进行单元测试，从合成数据生成到性能测量的各个步骤进行支持。同时，我们将提供实用的代码示例，帮助开发者快速上手。

## 引言

大型语言模型的性能和可靠性是当今AI开发中的关键挑战。借助DeepEval，开发人员可以通过快速迭代和有效测试来构建更稳健的语言模型。本指南将演示如何测试LLM性能，并展示如何定义自定义指标并将其记录到仪表板中进行监控。

## 主要内容

### 1. 安装与设置

首先安装我们所需的Python包：

```bash
%pip install --upgrade --quiet langchain langchain-openai langchain-community deepeval langchain-chroma

2. 获取API凭证

要获取DeepEval的API凭证，请按照以下步骤操作：

访问 Confident AI
点击“Organization”
复制API Key并设置您的实现名称

3. 设定DeepEval

使用DeepEvalCallbackHandler来设定您想追踪的指标。目前支持的指标包括：答案相关性、偏见、毒性。例如：

from deepeval.metrics.answer_relevancy import AnswerRelevancy

# 确保答案至少有一定相关性
answer_relevancy_metric = AnswerRelevancy(minimum_score=0.5)

代码示例

场景1：在LLM中使用回调

将DeepEvalCallbackHandler与OpenAI模型结合使用，以跟踪性能指标：

from langchain_community.callbacks.confident_callback import DeepEvalCallbackHandler
from langchain_openai import OpenAI

# 使用API代理服务提高访问稳定性
deepeval_callback = DeepEvalCallbackHandler(
    implementation_name="langchainQuickstart", metrics=[answer_relevancy_metric]
)

llm = OpenAI(
    temperature=0,
    callbacks=[deepeval_callback],
    verbose=True,
    openai_api_key="<YOUR_API_KEY>",
)

output = llm.generate(["What is the best evaluation tool out there? (no bias at all)"])

您可以通过is_successful()方法检查指标是否成功：

answer_relevancy_metric.is_successful()  # 返回 True/False

场景2：在链中跟踪LLM而不使用回调

为没有回调的链条设置跟踪：

import requests
from langchain.chains import RetrievalQA
from langchain_chroma import Chroma
from langchain_community.document_loaders import TextLoader
from langchain_openai import OpenAI, OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

# 下载示例文本
text_file_url = "https://raw.githubusercontent.com/hwchase17/chat-your-data/master/state_of_the_union.txt"
with open("state_of_the_union.txt", "w") as f:
    response = requests.get(text_file_url)
    f.write(response.text)

loader = TextLoader("state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
texts = text_splitter.split_documents(documents)

embeddings = OpenAIEmbeddings(openai_api_key="<YOUR_API_KEY>")
docsearch = Chroma.from_documents(texts, embeddings)

qa = RetrievalQA.from_chain_type(
    llm=OpenAI(openai_api_key="<YOUR_API_KEY>"),
    chain_type="stuff",
    retriever=docsearch.as_retriever(),
)

# 设置问题
query = "Who is the president?"
result = qa.run(query)

# 手动检查答题相关性
answer_relevancy_metric.measure(result, query)
answer_relevancy_metric.is_successful()