如何高效构建评估LLM的Benchmark

大家好！今天我要和大家聊聊如何使用LangChain构建Benchmark来确保你的LLM应用既稳健又鲁棒。

我们都知道，大型语言模型(LLM)应用的表现评估至关重要，它直接关系到应用的准确性和用户体验。而LangChain，作为一个强大的LLM应用框架，提供了众多工具来简化这一过程，让开发者能够轻松地对比模型、尝试不同的配置，并基于数据做出改进。

这篇教程将带你了解如何使用LangChain为LLM应用设置有效的基准测试。从设置评估指标到比较不同的模型配置和检索策略，下面我会一步步指导你。

开始基准测试你的LLM应用

首先，你需要准备的是：

• 对LangChain和LLM有一定的了解
• LangChain和OpenAI API的访问权限
• 安装了LangChain和OpenAI

pip install langchain openai

openai库只是提供了一个调用规范，不是必须要用gpt模型才可以的，国内厂商的LLM也可以用openai库调用。

第一步：设置你的开发环境

首先，我们需要导入必要的库并配置LLM提供商。在这个教程中，我使用的是ChatGLM模型。

现在智谱的glm-4-flash和腾讯的hunyuan-lite，这俩是免费不限量调用的哦~

import openai
from langchain import LLMChain, PromptTemplate
from langchain.evaluation import load_evaluator

openai.api_key = "your_api_key"

第二步：设计一个提示模板

在LangChain框架中，提示模板是非常基础的部分。我们需要设置一个模板来定义传递给LLM的提示结构。

prompt_template = PromptTemplate(
    input_variables=["question"],
    template="你是问题回答专家. 请清晰地回答这个问题: {question}"
)

这个模板接收一个问题，并将其格式化为LLM的输入提示。在接下来的步骤中，我们就可以使用这个提示来评估不同的模型或配置。

第三步：创建一个LLM链

LLM链的租用是，可以把提示模板连接到LLM，这样能够以结构化的方式生成响应。

llm_chain = LLMChain(
    llm=openai.Completion(engine="glm-4-flash"),
    prompt_template=prompt_template
)

我这里使用的是glm-4-flash引擎，但你可以根据需要替换为openai库支持的任何其他模型。

第四步：定义评估指标

有了评估指标，才能量化LLM的性能。常见的指标包括准确性、精确度和召回率。LangChain提供了像criteria和QAEvalChain这样的工具来进行评估。我使用基于标准的评估器来衡量性能。

# Load an evaluator
evaluator = load_evaluator("criteria", criteria="conciseness")

# Example evaluation
eval_result = evaluator.evaluate_strings(
    prediction="你的生成文本",
    input="你的输入文本"
)
print(eval_result)

这段代码指定了简洁性作为评估标准。你当然也可以根据你的应用需求添加或自定义标准。

第五步：创建一个测试数据集

为了有效地评估你LLM，我们还需要准备一个包含样本输入和预期输出的数据集。这个数据集将作为评估各种配置的baseline。

test_data = [
    {"question": "What is the capital of France?", "expected_answer": "Paris"},
    {"question": "Who wrote '1984'?", "expected_answer": "George Orwell"},
    {"question": "What is the chemical symbol for water?", "expected_answer": "H2O"},
]

第六步：运行评估

使用QAEvalChain来评估LLM在测试数据集上的表现。评估器将比较每个生成的答案与目标答案，然后计算准确性。

from langchain.evaluation import QAEvalChain
from langchain.chat_models import ChatOpenAI

llm = ChatOpenAI(temperature=0.0, model="glm-4-flash")
eval_chain = QAEvalChain.from_llm(llm)

# Example evaluation with QAEvalChain
graded_outputs = eval_chain.evaluate(
    examples=test_data,
    predictions=[{"question": example["question"], "generated_answer": example["expected_answer"]} for example in test_data]
)

# 展示结果
for result in graded_outputs:
    print(f"Question: {result['question']}")
    print(f"Expected: {result['expected_answer']}")
    print(f"Generated: {result['generated_answer']}")
    print(f"Correct: {result['is_correct']}")
    print()

第七步：实验不同配置

为了提高准确性，大家可以尝试各种配置，比如更改LLM或调整提示风格。尝试修改模型引擎并再次评估结果。但其实作用不大。

# 使用不同的模型
llm_chain_alternative = LLMChain(
    llm=openai.Completion(engine="gpt-4"),
    prompt_template=prompt_template
)

# 用新模型重新评估
evaluator_alternative = QAEvalChain.from_llm(ChatOpenAI(model="gpt-4"))
results_alternative = evaluator_alternative.evaluate(test_data)

# 展示结果
for result in results_alternative:
    print(f"Question: {result['question']}")
    print(f"Expected: {result['expected_answer']}")
    print(f"Generated: {result['generated_answer']}")
    print(f"Correct: {result['is_correct']}")
    print()

第八步：使用向量存储进行检索

LangChain支持基于向量的检索，这可以提高复杂应用中答案之间的相关性。通过整合向量存储，可以测试基于检索的方法与简单的只基于Prompt作答的模型相比表现如何。

from langchain.vectorstores import FAISS

# 定义并且初始化向量存储
vector_store = FAISS.from_texts(
    [data["expected_answer"] for data in test_data],
    embedding=openai.Embedding(model="text-embedding-ada-002")
)

evaluator_with_retrieval = QAEvalChain(
    llm_chain=llm_chain,
    vector_store=vector_store
)

# 评估向量检索
retrieval_results = evaluator_with_retrieval.evaluate(test_data)

# 展示结果
for result in retrieval_results:
    print(f"Question: {result['question']}")
    print(f"Expected: {result['expected_answer']}")
    print(f"Generated: {result['generated_answer']}")
    print(f"Retrieved: {result.get('retrieved_answer')}")
    print(f"Correct: {result['is_correct']}")
    print()

第九步：分析和解释结果

在完成各种配置的评估后，分析结果以确定最好的调参结果。这一步涉及比较不同模型、提示和检索方法之间的指标，如准确性和F1分数。

def analyze_results(results):
    correct_responses = sum([1 for r in results if r['is_correct']])
    accuracy = correct_responses / len(results)
    print(f"Accuracy: {accuracy:.2f}")

# 分析来自不同配置的结果
print("Original Model Evaluation:")
analyze_results(graded_outputs)

print("\nAlternative Model Evaluation:")
analyze_results(results_alternative)

print("\nRetrieval Model Evaluation:")
analyze_results(retrieval_results)

总结

评估LLM应用对于优化性能至关重要，尤其是在处理复杂任务、动态需求或多个模型配置时。使用LangChain进行基准测试提供了一种结构化的方法来测试和改进LLM应用，提供了测量准确性、评估检索策略和比较不同模型配置的工具。

通过采用LangChain的系统化评估流程，你可以确保你的应用性能既稳健又适应性强，有效地满足现实世界的需求。希望这个教程对你有所帮助！

​

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

下面这些都是我当初辛苦整理和花钱购买的资料，现在我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

二、AI大模型视频教程

三、AI大模型各大学习书籍

四、AI大模型各大场景实战案例

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。