FlagPerf 项目使用教程

FlagPerf 项目使用教程

项目地址:https://gitcode.com/gh_mirrors/fl/FlagPerf

1. 项目目录结构及介绍

FlagPerf 是一个用于 AI 硬件评测的开源软件平台。以下是项目的目录结构及其介绍：

FlagPerf/
├── assets/
│   └── imgs/
├── base/
│   ├── configs/
│   │   └── host.yaml
│   └── run.py
├── docs/
├── flaggems_model/
├── inference/
├── operation/
├── training/
│   ├── run_benchmarks/
│   │   ├── config/
│   │   │   ├── cluster_conf.py
│   │   │   └── test_conf.py
│   │   └── run.py
│   └── requirements.txt
├── utils/
├── .gitignore
├── LICENSE.md
└── README.md

目录结构说明

• assets/: 存放项目相关的静态资源文件，如图片等。
• base/: 基础评测模块，包含配置文件和启动脚本。
  • configs/: 存放配置文件，如 host.yaml。
  • run.py: 基础评测的启动脚本。
• docs/: 存放项目的文档文件。
• flaggems_model/: 存放与模型相关的文件。
• inference/: 推理评测模块。
• operation/: 操作相关的模块。
• training/: 训练评测模块。
  • run_benchmarks/: 包含评测的配置文件和启动脚本。
    • config/: 存放评测的配置文件，如 cluster_conf.py 和 test_conf.py。
    • run.py: 训练评测的启动脚本。
  • requirements.txt: 训练评测所需的 Python 依赖包。
• utils/: 存放项目使用的工具类文件。
• .gitignore: Git 忽略文件配置。
• LICENSE.md: 项目的开源许可证文件。
• README.md: 项目的说明文档。

2. 项目启动文件介绍

基础评测启动文件

• base/run.py: 这是基础评测的启动脚本。通过运行该脚本，可以启动基础评测任务。

训练评测启动文件

• training/run_benchmarks/run.py: 这是训练评测的启动脚本。通过运行该脚本，可以启动训练评测任务。

3. 项目的配置文件介绍

基础评测配置文件

• base/configs/host.yaml: 该文件用于配置基础评测的机器配置，包括硬件信息、网络配置等。

训练评测配置文件

• training/run_benchmarks/config/cluster_conf.py: 该文件用于配置训练评测的集群信息，包括集群主机列表和 SSH 端口。

# Cluster configs
# Hosts to run the benchmark, Each item is an IP address or a hostname
HOSTS = ["10.1.2.3", "10.1.2.4", "10.1.2.5", "10.1.2.6"]
# ssh connection port
SSH_PORT = "22"

• training/run_benchmarks/config/test_conf.py: 该文件用于配置训练评测的具体测试项，包括硬件选择、FlagPerf 项目路径、测例路径等。

VENDOR = "nvidia"  # 选择本次运行的硬件
FLAGPERF_PATH = "/home/FlagPerf/training"  # FlagPerf 项目路径
CASES = []  # 本次运行的测例，按照对应模型 readme 准备好数据，修改模型对应的地址

通过以上配置文件的设置，可以灵活地配置和启动 FlagPerf 项目的评测任务。

FlagPerf 项目地址: https://gitcode.com/gh_mirrors/fl/FlagPerf