LLMPerf Leaderboard 项目使用教程

LLMPerf Leaderboard 项目使用教程

llmperf-leaderboard 项目地址: https://gitcode.com/gh_mirrors/ll/llmperf-leaderboard

1. 项目目录结构及介绍

LLMPerf Leaderboard 项目的主要目录结构如下：

.
├── .assets
│   └── ... # 存储项目相关资源文件
├── raw_data
│   └── ... # 存储原始性能测试数据
├── LICENSE
├── README.md
└── token_benchmark_ray.py # LLM性能测试的主要脚本文件

• .assets: 存储项目所需的相关资源文件，例如文档、图片等。
• raw_data: 存储从各个LLM服务提供商收集的原始性能测试数据。
• LICENSE: 项目使用的Apache-2.0许可证文件。
• README.md: 项目说明文件，包含项目简介、使用方法和贡献者信息等。
• token_benchmark_ray.py: 用于执行LLM性能测试的主要Python脚本。

2. 项目的启动文件介绍

项目的启动文件是 token_benchmark_ray.py。该脚本用于执行对LLM服务提供商的性能测试。以下是脚本的主要使用方法：

python token_benchmark_ray.py \
  --model <MODEL_NAME> \
  --mean-input-tokens 550 \
  --stddev-input-tokens 0 \
  --mean-output-tokens 150 \
  --stddev-output-tokens 0 \
  --max-num-completed-requests 150 \
  --num-concurrent-requests 5 \
  --llm-api <litellm/openai>

其中，<MODEL_NAME> 需要替换为你想要测试的LLM模型的名称，<litellm/openai> 需要替换为LLM服务提供商的API接口。

3. 项目的配置文件介绍

本项目未提供专门的配置文件，所有的配置都是通过命令行参数传递给 token_benchmark_ray.py 脚本的。你可以通过修改命令行参数来调整测试的模型名称、输入输出token的数量、并发请求数量等。

具体的参数含义如下：

• --model: 指定要测试的LLM模型的名称。
• --mean-input-tokens: 输入token的平均数量。
• --stddev-input-tokens: 输入token的标准差。
• --mean-output-tokens: 输出token的平均数量。
• --stddev-output-tokens: 输出token的标准差。
• --max-num-completed-requests: 最大完成的请求数量。
• --num-concurrent-requests: 并发请求数量。
• --llm-api: LLM服务提供商的API接口。

通过调整这些参数，你可以根据自己的需求进行性能测试。

llmperf-leaderboard 项目地址: https://gitcode.com/gh_mirrors/ll/llmperf-leaderboard