LLMPerf 使用教程

最新推荐文章于 2025-04-06 10:30:33 发布

柯璋旺

最新推荐文章于 2025-04-06 10:30:33 发布

阅读量829

点赞数 6

本文链接：https://blog.youkuaiyun.com/gitblog_00947/article/details/146933689

版权

LLMPerf 使用教程

llmperf LLMPerf is a library for validating and benchmarking LLMs 项目地址: https://gitcode.com/gh_mirrors/ll/llmperf

1. 项目介绍

LLMPerf 是一个用于验证和基准测试大型语言模型（LLM）的开源工具。它通过实施负载测试和正确性测试来评估语言模型API的性能和正确性。LLMPerf 可以与多种语言模型API配合使用，包括 OpenAI、Anthropic、TogetherAI、Hugging Face、LiteLLM、Vertex AI 和 SageMaker 等。

2. 项目快速启动

在开始之前，请确保您已经安装了必要的依赖项。以下是快速启动 LLMPerf 的步骤：

首先，克隆 LLMPerf 仓库：

git clone https://github.com/ray-project/llmperf.git
cd llmperf
pip install -e .

接下来，运行负载测试脚本。以下是一个基本的负载测试示例：

python token_benchmark_ray.py \
--model "meta-llama/Llama-2-7b-chat-hf" \
--mean-input-tokens 550 \
--stddev-input-tokens 150 \
--mean-output-tokens 150 \
--stddev-output-tokens 10 \
--max-num-completed-requests 2 \
--timeout 600 \
--num-concurrent-requests 1 \
--results-dir "result_outputs" \
--llm-api "openai" \
--additional-sampling-params "{}"

此命令将启动一个并发请求，对指定的语言模型API进行负载测试。

3. 应用案例和最佳实践

负载测试

负载测试会生成随机文本行，并以并发请求的形式发送到语言模型API。以下是一个负载测试的案例：

python token_benchmark_ray.py \
--model "your_model" \
--mean-input-tokens 550 \
--stddev-input-tokens 150 \
--mean-output-tokens 150 \
--stddev-output-tokens 10 \
--max-num-completed-requests "your_max_requests" \
--timeout 600 \
--num-concurrent-requests "your_concurrent_requests" \
--results-dir "result_outputs" \
--llm-api "your_llm_api" \
--additional-sampling-params "{}"

替换 your_model、your_max_requests、your_concurrent_requests 和 your_llm_api 为适合您情况的值。

正确性测试

正确性测试会向语言模型API发送一系列数字转换请求，并验证响应是否包含正确的数字。以下是一个正确性测试的案例：

python llm_correctness.py \
--model "your_model" \
--llm-api "your_llm_api" \
--max-num-completed-requests 10 \
--timeout 600 \
--num-concurrent-requests 1 \
--results-dir "result_outputs"

同样，替换 your_model 和 your_llm_api 为您所需的模型和API。